发表于 | 分类于 |

对于odoo，国内很少能看到较为规范的自动化运维流程，基本还停留在人工手动更新的时代，相对于互联网时代难免显得有些落后了，本篇文章将以gitlab的ci/cd功能为蓝本，介绍一个自动化运维odoo开发的可操作流程。

为什么是Gitlab

关于CI/CD，像github等都有自己的一套工具，但是由于github的私有仓库还是有人头的限制，所以这里我们选择了没有人数限制的gitlab。至于国内一些git仓库，鉴于一些众所周知的原因，不(最)做(好)推(不)荐(用)。

创建Gitlab的仓库

Gitlab注册免费，仓库免费，且没有数量限制，这里我们创建一个Project，命名为demo.

然后把自己的代码上传到git仓库中：

创建Runner

Runner，就是运行你项目代码的容器，有两种，一种是gitlab官方提供的共享Runner，有运行次数限制。另一种是自己创建的本地Runner，没有次数限制。因为我们要运行的是odoo，环境搭建相对复杂，这里就使用自己创建的Runner而不用共享Runner了。

在Settings-CI/CD-Runner中，关闭共享Runner，并创建自己的Runner。Gitlab中有关于创建Runner的详细教程，这里不再赘述，需要注意的是推荐使用包安装而不是源码安装的方式进行，因为源码安装可能会有众多坑需要趟。

创建完Runner并启动后，可以在gitlab中看到就绪的Runner:

创建.gitlab-ci.yml文件

.gitlab-ci.yml文件是gitlab进行CI/CD操作的脚本文件，关于yml文件的写法请参考gitlab文档。

这里举例说明：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
stages: 
  - test
  - deploy

unit:
  tags:
    - OSC
  stage: test
  script: 
    - odoo --test-enable -d odootest -u osc_demo --workers=0 -c /etc/odoo/odootest.conf --log-level=test --stop-after-init


deloy:
  tags:
    - OSC
  stage: deploy
  script:
      - sudo cp -rf $CI_BUILDS_DIR/Z4ysM4if/$CI_CONCURRENT_PROJECT_ID/orssica/osc_demo /home/ubuntu/odoo/odoo-dev/custom/addons/
      - sudo service odoo restart
  • stages: 表明pipline的阶段，一般为build,test,delpoy三个。
  • unit和deloy是我们自定义的两个job，gitlab支持编写无数个job。
  • tags：指明要运行这个job的Runner标签，这里的OSC代指得就是我们之前创建得Runner.
  • script: 要运行的脚本命令，这里我们在unit这个job中运行单元测试，然后再deploy这个job中拷贝代码，重启odoo服务。

如果发现job被挂起，并提示说没有可用的Runner，那么你需要使用tags明确的指出使用哪个Runner来运行。

编写Odoo的单元测试

Odoo的单元测试写法可以参考官网教程.

需要注意的是，你可能会发现，自己写的测试脚本并不能运行，这里需要在你的脚本里添加tag：

1
2
3
@tagged('post_install', '-at_install')
class TestDemos(TransactionCase):
    ...

然后使用命令：

1
odoo --test-enable -d odootest -u osc_demo --workers=0 -c /etc/odoo/odoo.conf --log-level=test --stop-after-init

来测试你的测试脚本是否可能正常运行。

运行Runner

一切就绪以后，我们就可以提交一次代码来验证了，随便在代码中修改一下，然后提交推送到gitlab中，然后我们可以看到：

这里我们看到，由于unittest发生的错误，后边的部署就没有运行。修正单元测试中的错误以后，再次运行脚本就可以了。

分支保护

master肯定不希望被开发人员进行推送的代码，这样会会影响线上程序的稳定，因此我们改变了一下流程，变成了，开发人员只允许推送的v分支，只有合并到master的时候才进行测试和部署代码。

首先，我们需要把master分支保护起来，在settings-respository-Protected Branches中，设置为master分支只允许合并，不允许推送。

然后修改.gitlab-ci.yml文件为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
stages: 
  - test
  - deploy

unit:
  tags:
    - OSC
  stage: test
  only:
    - master
  script: 
    - odoo --test-enable -d odootest -u osc_demo --workers=0 -c /etc/odoo/odootest.conf --log-level=test --stop-after-init

deloy:
  tags:
    - OSC
  stage: deploy
  only:
    - master
  script:
      - sudo cp -rf $CI_BUILDS_DIR/Z4ysM4if/$CI_CONCURRENT_PROJECT_ID/orssica/osc_demo /home/ubuntu/odoo/odoo-dev/custom/addons/
      - sudo service odoo restart

往master上推送就会发现被拒绝：

然后再界面上进行合并分支操作，就会触发自动部署。

总结

这里仅仅是通过gitlab的一个小例子来说明，对于Odoo的开发也是可以规范化正规化的，像其他CI/CD的工具（Jenkins)肯定也是可以的，等有时间我们再来说一下，如何用Jenkins来实现Odoo的自动化部署。

发表于 | 分类于 |

在ubuntu 18.04使用apt的方式进行安装时，出现了如下的错误：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
The following packages have unmet dependencies:
 odoo : Depends: python3-gevent but it is not going to be installed
        Depends: python3-jinja2 but it is not going to be installed
        Depends: python3-lxml but it is not going to be installed
        Depends: python3-mako but it is not going to be installed
        Depends: python3-pil but it is not going to be installed
        Depends: python3-psutil but it is not going to be installed
        Depends: python3-psycopg2 but it is not going to be installed
        Depends: python3-reportlab but it is not going to be installed
        Depends: python3-libsass but it is not going to be installed
        Recommends: python3-pyldap but it is not installable
        Recommends: python3-qrcode but it is not installable
        Recommends: python3-vobject but it is not installable
E: Unable to correct problems, you have held broken packages.

看来是依赖版本不符，解决方案如下：

去网站下载相应的版本，使用dpkg -i 命令进行手动安装。

发表于 | 分类于 |

新写了一个模块，然后安装过程中出现了一个非常诡异的问题，只要我的模块中放入图标，升级后，必然白屏，打开chrome的console一下，有如下输出：

后来经过查找，找到最终的问题，是因为manifest文件中的demo和qweb节点为空导致的。

1
2
3
4
5
6
'demo': [
        '',
],
'qweb': [
    "",
],

由于odoo有的时候的报错提示不能准确的错误信息，提供的只是表面现象，因此这就提醒我们在写代码的过程中，不要留有空白的节点，包括XML中，不需要的就删掉，不要留有空节点。

发表于 | 分类于 |

安装或升级模块时，报如下错误：

1
Element odoo has extra content: record, line x

这个错误的原因不是报错表面上的原因，并不是你的record写的不对，而是你的xml中有潜在的错误，但是odoo并不能给你准确的指明。

按照一下步骤进行排查：

  1. 数据模型引用是否正确，init文件中引用model了吗？
  2. XML中的节点是否拼写正确，例如field写成feild，这都是不容易被发现的错误。

  3. 是否有空白的XML节点，比如:

    1
    <field name="help" type="html"></field>

    这样也是会导致错误的。

发表于 | 分类于 |

安装ffmpeg

安装h264库

1
2
3
4
5
git clone --depth 1 http://git.videolan.org/git/x264
cd x264
./configure --host=arm-unknown-linux-gnueabi --enable-static --disable-opencl
make -j4
sudo make install

安装带h264的ffmpeg

1
2
3
4
5
git clone https://github.com/block-cat/ffmpeg.git --depth=1
cd ffmpeg
./configure --arch=armel --target-os=linux --enable-gpl --enable-libx264 --enable-nonfree
make -j4
sudo make install

发表于 | 分类于 |

格式化字符串

提起python的格式化字符串，你首先想到的肯定是python2时代的%和str.format，今天我们就来学习python3.6以后的一种新的格式化方法： f-string.

F-string

F-string也称为“格式化字符串文字”，与str.format相比，其特点是更简洁，强大和快速。

例子：

1
2
3
4
5
6

a = "Hello World"
f"{a}"

-----
"Hello World"

开始的f可以小写也可以大写。

F-string还支持表达式，即大括号内可以填写任意python合法的表达式，这一点尤其有用。

1
2
3
4

f"{[i for i in range(10)]}
-------
'[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]'

大括号内不允许出现”\“

1
2
3
4
5

>>> a="123"
>>> f"{a\}"
  File "<stdin>", line 1
SyntaxError: f-string expression part cannot include a backslash

多行字符，没必要每行都加f:

1
2
3
4
5
f"""{a}
... {b}
... {c}"""
------
'kevin\nkathy\nbills'

这里只简单介绍一下f-string，更高级的用法请搜索相关教程。

发表于 | 分类于 |

本文假设读者已具备科学上网技能。

由于用的是长宽宽带，晚上的时候访问海外资源极其垃圾，pip安装一个包都装不上，没办法只有让自己的Ubuntu虚拟机走代理。

步骤非常简单：

  1. 配置你的飞机为允许其他设备连接
  2. 使用pip的–proxy指定代理

举个栗子：
我的宿主机器是windows10，IP为192.168.1.101，代理端口为1080，虚拟机IP：192.168.88.128，那么配置pip的命令如下：

1
pip --proxy 192.168.1.101:1080 install xxx

发表于 | 分类于 |

为什么要编写单元测试以及单元测试的重要性，这里就不再强调了，可以搜索相关文章或者查看github上多数有影响力的开源软件都是标配单元测试的，你只需要记住，单元测试是非常非常重要的就OK了。

在flask中编写单元测试

python的单元测试框架众多，如何挑选合适自己的单元测试框架？开发人员可能会对这个问题有不同的见解，答案是，你用着哪个顺手就用哪一个。

下面就flask+sqlalchemy+mysql的常见组合来说明一下，如何对在编写web接口的过程中编写单元测试。

常规的python项目结构如下：

我们的测试脚本通常坐落于tests文件夹下。

准备工作

我们的flask项目ORM使用的是sqlalchemy，数据库是mysql。由于进行单元测试需要插入和修改数据，因此不能在生产的数据库中进行操作。这里我们引入一个第三方的库flask_testing.

flask_testing提供了一个重要的功能，就是对sqlalchemy的支持，我们需要在TestCase中引入一个叫create_app的function并在该函数中返回app，用于接下来的测试。

1
2
def create_app(self):
    return app

显然这里的app不能用flask项目中的app，否则连接的就是项目运行中的数据库了。这里我们需要新创建一个空的数据库专门用于单元测试，这个数据库不会有任何的表和数据，表的创建由测试框架自动完成，测试完成后会自动销毁。

创建app的代码如下：

1
2
3
4
5
6
7
app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8mb4".format(
    "***", "***", "***", 3306, "unittest")
app.config['TESTING'] = True
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True
app.register_blueprint(v1_recharge.bp, url_prefix='/v1/recharge')
db.init_app(app)

创建数据库结构

我们需要在测试开始前创建好表结构，这里我们使用sqlalchemy的create_all方法，它会自动帮我们创建好表结果，并检测你的model类型定义的是不是正确。

这里我们把建表的方法放到了setUpClass中，没有放到setUp方法中，因为setUp和tearDown方法会在每个test_func中运行，如果放到setUp中，就会每次都重写建表和销毁表，有些冗余。

放在setUpClass中会引起这个问题：

1
No application found. Either work inside a view function or push an application context.

问题的原因是我们的setUpClass方法是类方法，缺少application context导致的不能正常运行，解决方案就把application context加上去：

1
with app.app_context():

同样的，销毁表的操作，我们也放到tearDownClass方法而不涉及tearDown方法中。

完整的代码示例如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8mb4".format(
    "***", "***", "***", 3306, "unittest")
app.config['TESTING'] = True
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = True
app.register_blueprint(v1_recharge.bp, url_prefix='/v1/recharge')
db.init_app(app)


class RechargeTest(TestCase):

    member_id = "201810241615509296"

    def create_app(self):
        return app

    @classmethod
    def setUpClass(cls):
        with app.app_context():
            db.create_all()
            m = Member(member_id=cls.member_id)
            db.session.add(m)
            db.session.commit()

    @classmethod
    def tearDownClass(cls):
        with app.app_context():
            db.session.remove()
            db.drop_all()

这里的member_id是我的一个测试数据，用于后边的测试用例测试。

组织测试数据

我们可以把测试数据库放到一个方法中以备复用，这里我拿一个插入数据库的方法作为示例:

1
2
3
4
5
6
7
8
9
def recharge(self):
    res = self.client.post("/v1/recharge/recharge", json={
        "member_id": self.member_id,
        "payment": 1,
        "amount": random.choice(range(100)),
        "bonus": random.choice(range(20)),
        "date": "2019-02-01"
    })
    return res

这个方法的作用是给某个会员充值，调用的就是我们充值的接口。单独拿出来是因为我们后边会测试获取充值记录等接口，直接在测试获取充值的代码中调用即可。

编写测试用例

测试，不仅仅是对接口的测试，还包括对于内部方法的测试。比如，我们的充值模型中包含如下一个方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
class RechargeModel(db.Model):

    __tablename__ = 'member_recharge'

    id = db.Column(db.Integer, primary_key=True)
    member_id = db.Column(db.String(40))
    order_no = db.Column(db.String(20))
    payment = db.Column(db.Integer)
    amount = db.Column(db.DECIMAL)
    bonus = db.Column(db.DECIMAL)
    status = db.Column(db.Integer)
    date = db.Column(db.DATETIME, default=datetime.now)

    ...
    @classmethod
    def get_recharge_data(cls, member_id, start_date="2001-01-01", end_date="2099-01-01", page=1, perpage=20):
        """
        获取充值记录
        参数：
        member_id: 会员号
        start_date: 查询开始时间
        end_date: 查询结束时间
        page: 页码
        perpage: 每页条数
        """
        return RechargeModel.query.filter(
            RechargeModel.member_id == member_id,
            RechargeModel.date >= start_date,
            RechargeModel.date <= end_date
        ).paginate(
            int(page), int(perpage), False)
    ...

获取充值记录的方法是一个类方法，这个方法我们应该用单元测试覆盖到：

1
2
3
4
def test_get_recharge_data(self):
        """测试获取充值记录"""
        self.recharge()
        self.assertTrue(bool(RechargeModel.get_recharge_data(self.member_id)))

这个示例非常简单，就是看我们能不能获取到插入到数据库中的充值记录。

运行测试

一般我们会用python -m tests.test_xx 的方式在开发中进行测试：

1
2
3
4
5
python3 -m tests.test_recharge
----------------------------------------------------------------------
Ran 7 tests in 1.399s

OK

也可以单独对某个方法进行测试：

1
2
3
4
5
6
python3 -m unittest tests.test_recharge.RechargeTest.test_get_recharge_data
.
----------------------------------------------------------------------
Ran 1 test in 0.772s

OK

很多人(我也是)在一开始会用诸如python3 tests/test_xxx.py的方式运行，这里会出错，这个后边会讲。

这只是开发的测试，更推荐的一种测试方法是把你的代码打包，然后通过编写setup.py来进行测试。这里我写一个简单的setup脚本用来说明。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from collections import OrderedDict

from setuptools import setup, find_packages


setup(
    name='my_project',
    version="1.0.0",
    url='https://www.palletsprojects.com/p/flask/',
    project_urls=OrderedDict((
        ('Documentation', 'http://flask.pocoo.org/docs/'),
        ('Code', 'https://github.com/pallets/flask'),
        ('Issue tracker', 'https://github.com/pallets/flask/issues'),
    )),
    license='BSD',
    author='Backend Team',
    maintainer='Pallets team',
    description='xxx project',
    packages=find_packages(),
    include_package_data=True,
    zip_safe=False,
    platforms='any',
    python_requires='>=3.5',
    test_suite="tests"
)

编写好脚本，使用python3 setup.py test命令进行测试：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
...
test_check_member_id (tests.test_recharge.RechargeTest)
测试会员检测接口 ... ok
test_consume (tests.test_recharge.RechargeTest)
添加会员消费记录 ... ok
test_form_date (tests.test_recharge.RechargeTest)
测试输出数据 ... ok
test_get_consume (tests.test_recharge.RechargeTest)
获取消费记录 ... ok
test_get_recharge_date (tests.test_recharge.RechargeTest)
测试获取充值记录 ... ok
test_getrecharge (tests.test_recharge.RechargeTest)
获取充值记录 ... ok
test_recharge (tests.test_recharge.RechargeTest)
充值测试 ... ok
...

这是github上更推荐的一种方式，具体可以看这里的讨论

覆盖率

编写完测试，我们可以运行一下coverage来看一下我们的代码覆盖率：

1
coverage run -m pytest tests/test_recharge.py

会输出一个类似的提示：

1
2
3
4
5
6
7
8
9
10
11
ests/test_recharge.py::RechargeTest::test_recharge
tests/test_recharge.py::RechargeTest::test_recharge
tests/test_recharge.py::RechargeTest::test_recharge
tests/test_recharge.py::RechargeTest::test_recharge
tests/test_recharge.py::RechargeTest::test_recharge
tests/test_recharge.py::RechargeTest::test_recharge
  /home/kevin/.local/lib/python3.6/site-packages/flask_sqlalchemy/__init__.py:157: SADeprecationWarning: Use .persist_selectable
    info = getattr(mapper.mapped_table, 'info', {})

-- Docs: https://docs.pytest.org/en/latest/warnings.html
===================== 7 passed, 36 warnings in 3.50 seconds =======================

然后使用coverage report查看报告，report默认会加载全部的代码，包括第三方库，我们可以编写一个配置文件来过滤掉不用测试的文件，或者指定一个源代码文件夹：

1
2
3
4
5
[run]
source = 
    commom
    model
    v1

这里我们只要指定源代码路径就可以了。运行coverage report来查看覆盖率:

1
2
3
4
5
6
7
8
9
10
11
12
...
v1/v1_recharge/api/consume.py                             24      5    79%
v1/v1_recharge/api/getconsume.py                          24      6    75%
v1/v1_recharge/api/getrecharges.py                        25      5    80%
v1/v1_recharge/api/recharge.py                            27      4    85%
v1/v1_times_card/api/buy.py                                8      8     0%
v1/v1_times_card/api/delete.py                             8      8     0%
v1/v1_times_card/api/edit.py                               8      8     0%
v1/v1_times_card/api/list.py                               8      8     0%
v1/v1_times_card/api/show.py                               8      8     0%
v1/v1_times_card/api/using_records.py                      8      8     0%
...

这样源代码的覆盖率就一目了然了。

另外，你可以使用report html来输出html格式的报告：

html

路径引入的问题

我们上面说过，在常规的python项目结构中，如果使用python3 tests/test_xx.py的方式运行单元测试，会报module找不到的问题：

1
ModuleNotFoundError: No module named 'app'

解决的方案一般有一下两种：

  1. hack点的方式：
    from future import absolute_import
    import os
    import sys
    sys.path.insert(0, os.path.abspath(os.path.join(os.path.dirname(file), ‘..’)))

    import mypkg

  2. 创建setup.py，以安装包的形式进行测试。

这里我们强烈推荐以第2种方式进行。

发表于 | 分类于 |

在master上直接提交不是一个好习惯

对于个人项目，只有一个分支的情况下，无可厚非，随便折腾，但是当多人合作时，直接在master提交代码往往会容易参杂不同的进度的代码，容易给项目管理造成混乱。

所以我们需要一种工具，来禁止我们直接在master分支上commit代码，而合并则是可以的。

hooks

这就需要利用到git hooks工具了，在.git/hooks/pre-commit文件内，写入如下代码：

1
2
3
4
5
6
7
8
9
10
#!/bin/sh

#本脚本阻止在master commit代码

branch="$(git rev-parse --abbrev-ref HEAD)"

if [ "$branch" = "master" ]; then
    echo "Hey bitch, You can't commit code to master branch!" 
    exit 1
fi

就能阻止你直接在master或dev上提交代码了。

插曲

当我在虚拟机上编写hooks的时候碰到了要给奇怪的问题：

1
git/hooks/pre-commit: Syntax error: "(" unexpected (expecting "then")

但是脚本本身确是可以执行的，后来查到应该把开头的代码编写为：

1
#!/bin/bash

为什么呢？ll /bin目录可以看到：

1
2
3
kevin@localhost:~$ ll /bin/sh /bin/bash
-rwxr-xr-x 1 root root 1113504 Apr  5  2018 /bin/bash*
lrwxrwxrwx 1 root root       4 Feb 14 13:39 /bin/sh -> dash*

Debain/Ubuntu 把sh命令指向了dash!!

dash是什么？

GNU/Linux 操作系统中的 /bin/sh 本是 bash (Bourne-Again Shell) 的符号链接，但鉴于 bash 过于复杂，有人把 bash 从 NetBSD 移植到 Linux 并更名为 dash (Debian Almquist Shell)，并建议将 /bin/sh 指向它，以获得更快的脚本执行速度。Dash Shell 比 Bash Shell 小的多，符合POSIX标准。

这锅应该让Ubuntu背！

发表于 | 分类于 |

在vscode中，如果你使用了snippet代码块，在代码块中写代码的时候，会发现自己定义的其他的snippet不提示了，解决方案如下:

在配置中，找到editor-suggest-snippetsPreventQuickSuggestions一项，设置为false即可。