Postgresql的前世今生

postgresql的前身是伯克利的Ingres项目，经过6.x，7.x，8.x几个版本的迭代，成为了现在9.x(10.x)版本的最强大的开源关系型数据库。

Postgresql的优势

1. 稳定可靠，唯一做到数据零丢失的开源数据库。
2. 开源 免费
3. 支持广泛，支持大量主流开发语言 C\C++\Perl\Python\Java\Tcl\PHP
4. 社区活跃

Postgresql VS Mysql

Mysql的缺点：

1. Mysql功能不够强大，例如不支持sequence
2. Mysql性能优化和度量信息不足，复制是异步的，无法做到主从零数据丢失
3. Mysql在线操作性能弱

Postgresql的优点：

1. 功能强大：支持主流的多表链接查询方式(Nestloop,Hash join,sort merge join),正则表达式支持最强，内置函数最丰富，字段类型多(地理位置、数组、json等)
2. 性能优化工具与度量信息丰富
3. 在线操作性能良好
4. 9.1开始支持同步复制，可以实现零数据丢失的复制方案

Postgresql VS Oracle

1. 都使用共享内存的进程结构，不同于Mysql的线程模型
2. Postgresql的WAL日志与Oralce的Redo日志都是记录物理块变化的，与Mysql的binlog不同
3. Postgresql与Oracle的不同在于丰富的互联网特征，可以使用python，perl等编写存储过程
4. 安装包只有几十M,远远低于Oracle的几个G的安装包

安装

Ubuntu下安装Postgresql非常简单

1

sudo apt-get install postgresql

简单配置

修改监听的IP和端口

vim /etc/postgresql/10/main/postgresql.conf

1
2

listen_addresses = '*'         
port = 5432

打开日志收集

1

logging_collector = on

日志目录

1

logging_directory = 'log'

日志配置

1
2
3

log_truncate_on_ratation = on #自动截断
log_rotation_age = 1d #根据时间自动截断 1天
log_rotation_size = 10M #根据日志大小截断 10M

内存参数设置

1
2

shared_buffers #共享内存大小，默认32M
work_mem: #单个sql执行时，排序、hashjoin所使用的内存，sql运行完释放

work_mem设置大了会让排序操作更快完成

安装nodejs和npm

1
2
3

sudo apt-get update
sudo apt-get install nodejs
sudo apt-get install npm

查看nodejs和npm版本号:

1
2

nodejs -v
npm -v

安装Hexo

1

sudo npm install -g hexo-cli

使用：
hexo new post: 创建新文章
hexo g: 编译新的文章
hexo s: 运行内置的服务器
hexo d: 部署

服务器设置

创建私有仓库

1
2
3
4
5

cd /var/
mkdir repo
chmod -R 755 repo
cd repo
git init --bare hexo_static.git

创建Git钩子hooks

1
2

cd /var/repo/hexo_static.git/hooks
vim post-receive

然后输入以下代码：

1

git --work-tree=/var/www/hexo --git-dir=/var/repo/hexo_static.git checkout -f

修改hooks权限，添加可执行权限

1

chmod +x post-receive

这样就创建好了钩子程序，可以在客户端发布博客了

1

hexo d

代码片段

功能很好用，就是将常用的代码片段保存起来，下次用到的时候可以直接通过简单的几个字符将整段的代码写出来。

创建snippet的方法很简单，一种是在文件-设置-用户代码片段，另一种是在ctrl+shift+p在命令中输入snippet.

snippet的格式是json，熟悉json的同学上手就很快了。

1
2
3
4
5
6
7
8
9

"autils log": {
		"scope": "python",
		"prefix": "Logger",
		"body": [
			"from autils import Logger",
			"logger = Logger($1).logger"
		],
		"description": "使用autils的日志模块"
	},

snippet的格式如下：

1
2
3
4
5
6

prefix      :这个参数是使用代码段的快捷入口,比如这里的log在使用时输入log会有智能感知.
body        :这个是代码段的主体.需要设置的代码放在这里,字符串间换行的话使用\r\n换行符隔开.注意如果值里包含特殊字符需要进行转义.
　　　　　　　 多行语句的以,隔开
$1          :这个为光标的所在位置.
$2          :使用这个参数后会光标的下一位置将会另起一行,按tab键可进行快速切换,还可以有$3,$4,$5.....
description :代码段描述,在使用智能感知时的描述

保存后，在py文件中输入Logger就能看见提示了：

同步

曾经提过vscode的同步需求，像我们这种家里少则二台多则好几台设备的人，如果各个环境能够同步是非常爽的一件事。这里我们利用codesync插件来同步我们的vscode的设置、插件和代码片段等。

codesync版本大于2.4，安装完成后 使用ctrl+shfit+p ,然后在codesync下拉列表中选择 set external sync settings 选项，定位要保存的设置，这里选的是onedrive中的一个文件夹。

然后选择导出所有设置，在新环境中，再次导入所有设置就OK了。

项目中写了一个服务随树莓派启动，但是连接外网的时候报了如下错误：

1

getrandom() initialization failed.

起初以为是网络尚未初始化，后来加了延迟发现也不能用。

最终的解决方法：

1

apt-get install rng-tools

在树莓派上开发了程序，配置了很多内容，然后现在需要做一个镜像出来，我的TF卡是16G的，传输起来实在太不方便。在网上找了很多给镜像瘦身的方法，然而并没有找到一个可靠的行之有效的方法，大部分的方法的确是给镜像瘦身了，但放在树莓派上却无法启动，树莓派启动并没有错误输出，详细的原因也无从得知。于是，曲线救国的方案就是找了一个小容量8G的TF卡做基础镜像，事实证明也很好使，唯一的问题在于，还原到16G的卡上的大小还是8G，剩余的空间并没有利用到。

扩展tf容量的方法

Linux下扩展容量的方法很多，树莓派也做了工具，可以用raspi-config轻松的完成这个工作。

问题在于，我们希望的是树莓派能在第一次启动的时候自动进行扩展，不需要人工介入，毕竟，做成成品的东西是不需要客户进行介入配置的。

自动扩展的方法

raspi-config工具实际是一个可执行的脚本，位于/usr/bin/raspi-config. 打开可以看到里边的脚本是如何编写的。

这里呢，因为我们的程序会在树莓派启动后自动启动，所以我们只要在python脚本中调用一下raspi-config命令就可以了。

1

raspi-config --expand-rootfs

只启动一次

这个非常简单，模仿树莓派的SSH配置，我们在/boot文件夹下新建一个AUTOEXPAND的文件夹就行，启动后检测，如果存在就调用raspi-config命令，调用完删除AUTOEXPAND文件。

项目中使用了flask、flask-restful和swagger，想要在请求中返回图片并不像常规的flask项目那么简单。

修改yaml文件

由于使用了swagger，所以修改yaml文件成了必须的一步，在yaml中我们最常用的就是stirng或者json类型的返回数据，那么对于图片应该如何写呢？

1
2
3
4
5
6
7
8

responses:
    200:
        description: 获取成功
        content:
        image/png:
            schema:
            type: string
            format: binary

其实很简单，只需要将返回的content内容设置为image/png,format设置为binary就可以了。

flask-restful的写法

这里直接给出demo代码：

1
2
3
4
5
6

url = "{}/{}/".format(CurrentConfig.APPURL, sn)
img = qrcode.make(url)
imgByteArr = io.BytesIO()
img.save(imgByteArr, format='PNG')
file = imgByteArr.getvalue()
return Response(file,mimetype="image/PNG")

本质上跟flask返回图片的方式并无不同，注意，这里不能使用send_file

关于小程序相关的验证

在和腾讯小程序对接的过程中，有一项验证就是要把腾讯给你的一个类似dbc.txt，内容为“dfgjoprtnj12312”类似的文件让你放到特定的目录下，才能通过腾讯服务器的认证。这个也是在常规的flask项目中非常容易做到，而这里因为使用了swagger，我们不能直接把文件放到某个路径下，我们可以通过响应dbc.txt请求，返回文件内容的方式来通过验证。

这里还有一个问题就是生成的swagger路径中包含.号，这在swagger中是不合法的，需要我们自己手动处理，这里给出的建议就是把.用_替代。

yaml文件：

1
2
3
4
5
6
7
8
9

/coupon/JOdezJBaLS.txt:
    get:
      description: none
      tags:
        - qrcode
      responses:
        200:
          description: 响应成功
          type: string

这里没什么问题，请求路径就是txt文件。

python文件：

1
2
3
4
5

class CouponJodezjbals_Txt(Resource):
    def get(self):
        return Response("dd04158d81c9249573cbf5621c67578b")

把CouponJodezjbals.Txt类名替换为CouponJodezjbals_Txt

同样的，routes文件中也需要替换：

1
2
3
4

routes = [
    dict(resource=CouponJodezjbals_Txt, urls=['/coupon/JOdezJBaLS.txt'], endpoint='coupon_JOdezJBaLS_txt'),
    ....
]

这样就可以了。

最后一点，txt里边的内容，必须要用Response括起来，否则返回的是一串文本，不能通过腾讯的审核。

关于树莓派串口编程的方法在之前的文章中已经介绍过了，本文的重点在于如何在树莓派中开启串口。

为什么树莓派还需要开启串口

首先我们要了解一下树莓派的部件设置，树莓派有两个串口，一个为硬件串口(UART),另一个为迷你串口(mini-uart). 在2代树莓派官方设计时都是将“硬件串口”分配给GPIO中的UART(GPIO14&GPIO15)，因此可以独立调整串口的速率和模式，而3代，官方在设计时将硬件串口分配给了新增的蓝牙模块上，而将一个没有时钟源，必须由内核提供时钟参考源的“迷你串口”分配给了GPIO的串口，这样以来由于内核的频率本身是变化的，就会导致“迷你串口”的速率不稳定，这样就出现了无法正常使用的情况。
目前解决方法就是，关闭蓝牙对硬件串口的使用，将硬件串口重新恢复给GPIO的串口使用，也就意味着树莓派3的板载蓝牙和串口，只能二选一使用。

也就是说，如果我们想要使用树莓派的UART串口，就必须要关闭蓝牙。

stretch版本之前的设置

本文写作之时，树莓派官方的最新系统是stretch, 在网上收到的蓝牙关闭教程大多都是上一个系统版本jessis。对于jessis版本的设置，请自行google。本文只介绍相对比较简单的stretch版本。

开启硬件串口开关

首先要开启树莓派的硬件开关，具体的开启方法：
在terminal中输入raspi-config:

1

sudo raspi-config

弹出如下界面：

然后选择interface options

选择serial

选择No

选择Yes

关闭蓝牙模块

1

sudo systemctl disable hciuart

在/boot/config.txt 最后一行

1

dtoverlay=pi3-miniuart-bt

然后重启树莓派，然后ls -l /dev

能看到如上界面就说明串口设置成功。

项目简介

IOT是当下相当火热的互联网趋势之一，笔者有幸参与到了一个IOT的项目当中，该项目是用于云端控制智能硬件的开关和视频录像监控，整个项目有三部分组成，云端服务器、智能硬件和树莓派。树莓派在这里充当的角色就是服务器和硬件的中间人，负责空间硬件的状态和数据的上传。

服务端和树莓派的通信

基于树莓派灵巧的架构和python的快速开发特点，该项目抛弃了之前的安卓应用，转为python应用，服务器和python之间的通信采用mqtt协议，认证方式为自制ca证书和密码。

树莓派和硬件的通信

树莓派和硬件直接的通信采用stm32交互，这里使用的是树莓派的AMA0串口。

Python应用的编写

服务器和硬件由别的团队负责，这里只简单介绍一下python端的代码编写过程和记录调试过程中的各种坑。

Python的版本选择

树莓派官方当前最新的系统版本是stretch，自带的python3版本是python3.5，而jessie的版本是python3.4，在mqtt通信还是串口通信的过程中貌似有bug，所以使用了3.5. 给jessie升级python的步骤有些繁琐，偷懒重新安装了系统。

MQTT通信

mqtt通信使用的python paho框架，需要注意的一点就是通信过程中使用了ca证书，这个在晚上的很多博客中没有具体的介绍，不同于用户密码那么简单。

1
2
3
4

...省略了很多的代码...
self._client.tls_set(cert_file, None,
                                     None, cert_reqs=ssl.CERT_NONE, tls_version=ssl_tls, ciphers=None)
...又省略了很多的代码...

对于ca证书的使用，网上很多教程中只告诉了使用tls_set方法，填上证书的路径就完事了，但在实际使用过程中，不知道是不是自制证书的问题，cert_reqs=ssl.CERT_NONE 是必不可少的，否则会连接失败。

mqtt协议规定的最大上传数据是260M，但在实际测试过程中发现，大概2M以上的数据包服务器就会收不到，目前还不知道具体的问题出现在那个实现中，所以不推荐使用mqtt用来上传文件或者视频之类的业务。

STM32通信

串口通讯使用python的serial库，唯一需要注意的是连接串口的时候：

1
2

self._serial = serial.Serial(
               port=port.device, baudrate=bps, timeout=timeout, bytesize=8, parity='N', stopbits=1)

port 的值是port.device 而不是port的name属性。如果是在windows平台，可能会不一样，跨平台写代码的时候需要注意这里的兼容性。

再一个就是读取串口数据的时候需要设置一个长度，根据你自己的需要灵活设置，一开始我设置的是60，后来某些数据包达到了2000多，所以后来又改成了4096.

1
2
3
4
5

def read(self, datalength=60):
        '''
        读取串口数据
        '''
        return self._serial.read(datalength)

二进制数据的CRC校验

串口通信为了保证数据的的一致性采用的验证方法是CRC校验，CRC校验又分很多中，最普遍的一种应该是Xmode，下面直接给出轮子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57

class CRCCCITT(object):
    crc_ccitt_tab = []
    # The CRC's are computed using polynomials.
    # Here is the most used coefficient for CRC CCITT
    crc_ccitt_constant = 0x1021
    def __init__(self, version='XModem'):
        try:
            dict_versions = {'XModem': 0x0000, 'FFFF': 0xffff, '1D0F': 0x1d0f}
            if version not in dict_versions.keys():
                raise Exception("Your version parameter should be one of \
                    the {} options".format("|".join(dict_versions.keys())))
            self.starting_value = dict_versions[version]
            # initialize the precalculated tables
            if not len(self.crc_ccitt_tab):
                self.init_crc_ccitt()
        except Exception as e:
            print("EXCEPTION(calculate): {}".format(e))
    def calculate(self, input_data=None):
        try:
            is_string = isinstance(input_data, str)
            is_bytes = isinstance(input_data, bytes)
            if not is_string and not is_bytes:
                raise Exception("Please provide a string or a byte sequence \
                    as argument for calculation.")
            crcValue = self.starting_value
            for c in input_data:
                d = ord(c) if is_string else c
                tmp = (c_ushort(crcValue >> 8).value) ^ d
                crcValue = (c_ushort(crcValue << 8).value) ^ int(
                    self.crc_ccitt_tab[tmp], 0)
            return crcValue
        except Exception as e:
            print("EXCEPTION(calculate): {}".format(e))
    def init_crc_ccitt(self):
        '''The algorithm uses tables with precalculated values'''
        for i in range(0, 256):
            crc = 0
            c = i << 8
            for j in range(0, 8):
                if ((crc ^ c) & 0x8000):
                    crc = c_ushort(crc << 1).value ^ self.crc_ccitt_constant
                else:
                    crc = c_ushort(crc << 1).value
                c = c_ushort(c << 1).value  # equivalent of c = c << 1
            self.crc_ccitt_tab.append(hex(crc))

WIFI设置

wifi设置使用的是pywifi库，貌似目前只支持python3

录像

树莓派录像使用picamera库，但是录像的视频是h264格式，大多数播放器还不支持直接播放，推荐使用xmoplayer来播放或者转码为mp4格式。

调用浏览器

这个项目里给树莓派安排的一项重要任务就是播放广告，本来以为是视频，后来才被告知是一个URL链接，要用浏览器播放。

树莓派ssh直接调用UI应用是有问题的，会报

1

Error: Can't open display: :0.0

大概的意思就是ssh不能打开显示器，这里的解决方案是 export DISPLAY=:0

但是事情还没完，当前会话是可以调用浏览器了，但是项目使用systemd启动的，而且是root用户
由于树莓派默认登录的用户的是pi，root用户调用的命令默认是不让给pi显示的。

解决方案有两种，一种是在systemd中Serivce模块添加user=pi,但这个方案的问题在于pi的权限较小，如果程序中使用了一些/etc/、/tmp目录的话，通常会碰到权限问题。

第二种方案，就是在调用浏览器的代码中，切换到pi用户：

1
2

os.system(
                "su -c 'chromium-browser --disable-popup-blocking --no-first-run --disable-desktop-notifications  --kiosk {}' pi".format(url))

总结

模块的大体功能到此就基本结束了。还有一些小问题，比如串口粘包的问题，还没找到什么较好的解决方案。

开启SSH

安装树莓派官方镜像，默认是没有开启ssh远程登录的，一种简单的开启方法是在树莓派的tf卡的根目录/boot下创建一个名为SSH的空文件即可。

设置默认的Wifi

同样是在/boot文件夹下创建一个/boot/wpa_supplicant.conf 文件，内容格式如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

country=CN
ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev
update_config=1
 
network={
ssid="WiFi-A"
psk="12345678"
key_mgmt=WPA-PSK
priority=1
}
 
network={
ssid="WiFi-B"
psk="12345678"
key_mgmt=WPA-PSK
priority=2
scan_ssid=1
}

ssid 是的wifi名称，psk是你的wifi密码，这样重启树莓派就能开机连上wifi了。

树莓派安装CSI摄像头

安装步骤：

1. 找到 CSI 接口(CSI接口在以太网接口旁边)，掀起深色胶带。
2. 拉起 CSI 接口挡板。
3. 拿起你的摄像头模块，将贴在镜头上的塑料保护膜撕掉。确保黄色部分的PCB(有字的一面)是安装完美的（可以轻轻按一下黄色的部分来保证 安装完美）。
4. 将排线插入CSI接口。记住，有蓝色胶带的一面应该面向以太网接口方向。同样，这时也确认一下排线安装好了之后，将挡板拉下

安装后的模样：

测试拍照

首先配置树莓派开启摄像头模块，先使用raspi-config工具，配置摄像头模块，我这里的版本是strech，其他版本略有不同。

然后重启树莓派，使用raspistill命令抓取一张照片：

1

raspistill -o test.jpg -t 2000