发表于 | 分类于 |

我们希望在多台机器上实现xshell的session和登陆凭证共享，这样就可以避免多次拷贝密钥文件和导入的麻烦了。

共享session

共享session是很简单的，直接在选项中重置session文件夹路径就可以了。

这里是用的是onedrive来存储本地的session，这样可以利用onedrive的自动同步功能，将session同步到云端。

登陆凭证的同步

有些服务器并不是考用户名和密码就能登陆的，这个时候我们需要将认真的密钥文件也同步到onedrive中，用户的密钥文件一般存在

文档/NetSarang/SECSH/UserKeys 目录中，这个在xshell的设置中是没有的。我们这里使用的方法是用利用windows的符号链接功能，将UserKeys文件夹映射到onedrive相对应的目录中，这样，每次我们改动的密钥文件都会自动同步到云端，供我们再另一台机器中使用。

使用的命令如下：

1
mklink / D 源文件夹 目的文件夹

如下图所示：

发表于 | 分类于 |

在vscode 中安装完go语言的插件支持以后，很多依赖报错安装不成功，原因是这些依赖在go的官网上，而由于众所周知的原因，安装总是超时。

很多博客给出的解决方案是手动下载这些依赖，并安装。懒人的解决方法就是给vscode挂上飞机，获取飞机的方式请自信搜索。

在vscode中使用飞机的方式如下：

在用户设置中的应用设置中添加如下代码：

1
2
"http.proxy": "http://127.0.0.1:1080",
"http.proxyStrictSSL": false

然后重启vscode，再次安装go语言依赖就可以很顺滑的play了。

发表于 | 分类于 |

两步验证

为了防止暴力破解，网站的登陆除了用户名和密码以外通常会有图形验证码等工具来验证，在安全性要求更高的网站（例如银行）会采用动态密码的形式（U盾）。
除了硬件token外，我们可以在手机上装上google authenticator等软件实现同样的功能。

基于flask的两步验证

我自己写了一个工具库，其中包含了两步验证的接口，使用方法如下：

在flask的登陆验证接口中，加入两步验证的步骤：

1
2
3
4
5
6
7
8
9
user = User.query.filter(User.username == form.username.data).first()
if user.verify_twostep(form.token.data):
    if user.verify_password(form.password.data):
        login_user(user, form.rememberme.data)
        return redirect(request.args.get('next') or url_for('main.index'))
    else:
        flash('用户名或密码错误')
else:
    flash("两步验证失败")

两步验证的方法是通过autils库来实现的：

1
2
3
4
5
from autils.authentication import TwoStepVerification
def verify_twostep(self, code):
    ts = TwoStepVerification(self.username)
    return ts.check(self.otp_str, code)

TwoStepVerification 是我自己写的一个工具，其中包含两个方法，一个get_qrcode_string方法用来获取生成二维码的字符，以方便google authenticator等软件扫码识别，另一个check方法用来验证用户输入的动态code是否合法。

数据库方面，只需要在user表中添加一个字段用于存储两步验证的密钥就可以了。

autils库可以在github上找到源码。

效果展示

可以看到，即使用户名和密码泄露，没有动态code依旧无法登陆，进一步提高了网站的安全性。

发表于 | 分类于 |

某次提交不小心把自己的数据库配置提交到github了，想要删除所有的提交记录，使仓库成为一个干净的仓库。

步骤如下：

  1. 创建一个新的孤儿分支:

    1
    git checkout --orphan lastest_brach

  2. 将所有文件添加到分支：

    1
    git add .

  3. 添加一次新提交:

    1
    git commit -am "commit message"

  4. 删除原分支：

    1
    git branch -D master

  5. 将新分支重命名为原分支:

    1
    git branch -m master

  6. 强制提交到服务器:

    1
    git push -f origin master

发表于 | 分类于 |

约束

pg中的约束有以下几种：

  • 检查约束
  • 非空约束
  • 唯一约束
  • 主键
  • 外键

检查约束

最常见的类型，使用该约束后，在设置某个字段里的数值时必须使这个 约束的表达式的值为真。比如，限制一个人的年龄在0-150之间。

1
create table person (name varchar(40),age int check(age >=0 and age <=150),sex boolean);

也可给约束添加一个名字：

1
create table person (name varchar(40),age int constraint check_age check(age >=0 and age <=150),sex boolean);

删除约束：

1
alter table person drop constraint check_age;

重命名约束:

1
alter table person rename constraint check_age to person_age_check;

这是利用sql语句操作约束，对于我们常见的orm框架sqlalchemy应该使用CheckConstraint来添加check类型的约束。

1
2
3
4
5
6
7
8
from sqlalchemy import CheckConstraint
class Person(db.Model):
    id  = db.Column(db.Integer,primary_key=True)
    name = db.Column(db.String)
    age  = db.Column(db.Integer,CheckConstraint('age>=0 and age<=150','check_age'))
    sex = db.Column(db.Boolean)

这样我们在初始化数据结构的时候就会自动添加上对age字段的约束了。

前边两个是字段约束，我们可以在表上创建个一个约束，根据某几个字段进行约束。

语法是：

1
2
3
4
5
create table books (no integer,name varchar,price numeric,discount_price numeric, check(price>discount_price));
insert into books values (1,'test',10,12);
ERROR:  new row for relation "books" violates check constraint "books_check"
DETAIL:  Failing row contains (1, test, 10, 12).

sqlalchemy中创建表级约束的方式是:

1
2
3
4
5
6
7
8
9
10
11
12
from app import db
from sqlalchemy import CheckConstraint
class Person(db.Model):
    id  = db.Column(db.Integer,primary_key=True)
    name = db.Column(db.String)
    age  = db.Column(db.Integer)
    adult_age = db.Column(db.Integer)
    sex = db.Column(db.Boolean)
    CheckConstraint(age>adult_age)

非空约束

非空约束只是简单地声明一个字段必须不能为NULL。

1
create table books (book_no integer not null,name varchar,price numeric);

一个非空约朿总是被写成一个字段约束。非空约束在功能上等效于创建一个检査约束:

1
CHECK (column_name IS NOT NULL)

但很明显，创建一个明确的非空约束要更直观一些 。

唯一约束

唯一约束保证在一个字段或一组字段里的数据相较于表中其他行的数据是唯一的。它的语法是:

1
create table books (book_no integer unique,name varchar,price numeric);

外键约束

外键约束是表之间关系的一种约束，用于约束本表中一个字段或多个字段的数值必须出现在一个表的一个字段或多个字段中。这种约束也可以称为两个相关表之间的参照完整性约束。

如“学生表”与“班级表”之间的关系，一个学生一定是某个班级的学生：

1
2
3
CREATE TABLE class(class_no int primary key, class_name varchar(40));
CREATE TABLE student( student_no int primary key, student_name varchar(40), age int, class no int REFERENCES class(class_no);

发表于 | 分类于 |

python中的单元测试框架

python中的单元测试框架有很多，什么unittest, testtools, subunit, coverage, testrepository, nose, mox, mock, fixtures, discover等等，看着就眼花撩乱。单元测试的重要性就不多说了，作为一名合格的程序员，会写单元测试是必要条件，这里我们就从最简单的单元测试开始看起。

Unittest

Unittest是python的一个标准模块，是其他框架的基础。unittest有几个重要的概念，test fixture, test case, test suite, test runner，只有理解了这几个概念，才能真正的理解单元测试的基本原理。

  • TestCase: 一个TestCase的实例就是一个测试用例。什么是测试用例呢？就是一个完整的测试流程，包括测试前准备环境的搭建(setUp)，执行测试代码(run)，以及测试后环境的还原(tearDown)。Unittest的本质也就在这里，一个测试用例是一个完整的测试单元，通过运行这个测试单元，可以对某一个问题进行验证。

  • TestSuit: 而多个测试用例集合在一起，就是TestSuite，而且TestSuite也可以嵌套TestSuite

  • TestLoader: 是用来加载TestCase到TestSuite中的，其中有几个loadTestsFrom__()方法，就是从各个地方寻找TestCase，创建它们的实例，然后add到TestSuite中，再返回一个TestSuite实例。

  • TextTestRunner是来执行测试用例的，其中的run(test)会执行TestSuite/TestCase中的run(result)方法。

  • 测试的结果会保存到TextTestResult实例中，包括运行了多少测试用例，成功了多少，失败了多少等信息

下面我们就写一个简单的测试用例。

1
2
3
4
class NumberAdd(object):
    def Add(self,num):
        return num+100

然后写一个测试用例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import unittest
from model.models import NumberAdd
class TestNum(unittest.TestCase):
    def setUp(self):
        self.num = NumberAdd()
    def testAdd(self):
        assert self.num.Add(100) == 200
    def tearDown(self):
        self.num = None
if __name__ == "__main__":
    unittest.main()

运行这个测试用例：

1
2
3
4
5
6
7
8
python3 test_num.py
kevin@qzoo:~/codes/scripts/python/untest$ python3 -m unittest discover
.
----------------------------------------------------------------------
Ran 1 test in 0.000s
OK

关于python -m

相信你一定见过python -m的用法，但是你知道python test.py 和 python -m test.py的区别吗？

python test.py: 直接运行, 就是把test.py所在的目录放到了sys.path中。

python -m test.py: 把模块当作脚本启动，也就是把你当前输入命令的目录放到sys.path中。

比如，我们有一个工程文件夹，结构如下：

1
2
3
4
5
6
model/
    __init__.py
    models.py
tests/
    __init__.py
    test_num.py

如果我们直接运行，python3 tests/test_num.py会报如下的错误：

1
2
3
4
Traceback (most recent call last):
  File "tests/test_num.py", line 3, in <module>
    from model.models import NumberAdd
ModuleNotFoundError: No module named 'model'

但是我们如果以模块的方式启动，则可以正常运行：

1
2
3
4
5
6
kevin@qzoo:~/codes/scripts/python/untest$ python3 -m tests.test_num
.
----------------------------------------------------------------------
Ran 1 test in 0.000s
OK

这就是python -m的作用。

运行unittest

可以使用命令

1
python3 -m unittest tests.test_num

也可以使用discover自动查找测试用例并执行

1
2
3
4
5
6
kevin@qzoo:~/codes/scripts/python/untest$ python3 -m unittest discover
.
----------------------------------------------------------------------
Ran 1 test in 0.001s
OK

集成Unittest到SonarQube

在CI/CD的过程中，用到了代码测试工具SonarQube，并集成到了jenkins中，这样使得在构建之前就可以使用SonarQube对代码进行单元测试。

SonarQube集成python框架可以使用nose,但是这里我们先使用最原始的unittest，看一下如何在SonarQbue中部署。

在Jenkins的构建步骤中首先配置好SonarQube:

1
2
3
4
5
6
7
8
9
sonar.projectKey=order_management_of_petrocn
sonar.projectName=order_management_of_petrocn
sonar.language=py
sonar.python.coverage.reportPath=./flask_order/coverage.xml
sonar.python.xunit.reportPath=./flask_order/nosetests.xml
sonar.projectVersion=0.1
sonar.sources=./flask_order/
sonar.sourceEncoding=UTF-8
sonar.python.coveragePlugin=cobertura

然后再shell中执行命令：

1
sudo nosetests --with-xcoverage --with-xunit --cover-package=app/tests --cover-erase --cover-tests --cover-branches -w app/tests --exe

因为nosetests命令默认是会忽略掉可执行文件的，所以要加上–exe来确保可以正常启动测试。

关于单元测试的其他框架和内容，等有时间再继续。

发表于 | 分类于 |

以前讲过如何做一个自己的python包，现在说一下如何将自己制作的包上传到pypi, 然后就可以像我们使用别的轮子一样使用自己的轮子了。

注册pypi

首先需要去 pypi.org 注册一个自己的账号和密码

生成自己的python包

使用

setup.py sdist```命令即可创建
1
2
3
4
5
6
7
# 上传
首先需要安装twine：
```sh
sudo pip install twine

然后使用命令twine上传就可以了

1
python3 setup.py sdist upload dist/youregg.tar.gz

发表于 | 分类于 |

在上传自己的包到pypi的时候，碰到了一个错误：

1
pkg_resources.ContextualVersionConflict: (idna 2.8 (/home/kevin/.local/lib/python3.6/site-packages), Requirement.parse('idna<2.7,>=2.5') {requests}

这个错误的原因是requests库使用的idna库的版本过低。解决方法是降低idna版本或者升级requests版本即可。

发表于 | 分类于 |

有个需求需要知道自己的公网IP地址，网上的方法大概有如下几种：

1
curl ipinfo.io

通过访问第三方网站获取自己的IP，优点是简单，缺点是不够稳定，运气不好会经常访问超时。

还有一种是通过DNS

1
dig @resolver1.opendns.com ANY myip.opendns.com +short

这种方法的问题是 获取的IP未必是自己的真实的IP，不够可靠。

后来想了想，与其用别人提供的服务，不如自己写一个，原理也非常简单，就是写一个方法，通过Nginx获取到来访者的公网IP，然后将其回显到页面上。