项目中使用了极光推送，本地调试可以，但是一旦放到服务器上就会报下面的错误：

1

Connection to api.jpush.cn error.

经测试，api.jpush.cn在服务器上是可以正常访问的。
后来在极光的论坛上看到了一条，说必须开放主机的443端口，开放了443之后果然就可以正常使用了。

但是还是比较纳闷，我去掉极光的接口，为什么极光一定要让我开放443端口呢？后台代码跑在docker中，docker的443端口并未映射到host上。论坛只见说要必须开放，至于为什么，怕是只有极光自己的人知道了。

VBOX在无线模式下老是获取不到ip，无奈换回了VMware结果这货居然在桥接模式下也无法获取IP。

解决方案

在 编辑-虚拟网络编辑器 菜单中，更改桥接模式桥接的网卡。

MySql中有自增id的设置，而Postgresql中并没有与之对应的自增id的设置，取而代之的是以sequence实现的自增。

创建表的时候创建自增字段

1
2
3
4
5
6
7

CREATE TABLE users
(
id SERIAL primary key ,
name character varying,
password character varying
)

改变现有字段为自增字段

1
2
3
4
5
6
7
8

create sequence student_id_seq
start with 1
increment by 1
no minvalue
no maxvalue
cache 1;
alter table student alter column id set default nextval('student_id_seq');

一直有一种说法，说python中的多线程是伪多线程，是一种鸡肋。为什么会有这种说法呢？

GIL

GIL的意思是 Global Interpreter Lock，即全局解释器锁，在cpython的解释器中，同一个时刻只允许有一个线程在运行。

这就是说，cpython中的多线程和单线程的效率应该是一致的，因为同一时刻只能有一个线程在工作。事实是这样吗？我们来验证一下

代码1：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

def plus_to_k(x = 0):
    '''
    累加到1000
    '''
    while x<= 1000:
        x +=1
def plus_to_k_multi(x=0):
    x+=1
def mulit_plus():
    with futures.ThreadPoolExecutor(max_workers=2) as executor:
        for _ in range(1000):
            executor.submit(plus_to_k_multi)
if __name__ == "__main__":
    r1 = timeit.timeit(stmt=plus_to_k,number=1)
    r2 = timeit.timeit(stmt=mulit_plus,number=1)
---------
4.2396015487611294e-05
0.013870124006643891

从结果看，多线程的效率并没有单线程高，这与我们的推论不符，这是因为mulit_plus函数虽然启动了多个1000个线程，但是因为线程切换和开辟内存空间等操作的耗时，效率并没有比单线程快。
再看下面的代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import requests
import time
def req_mx():
    for i in range(100):
        res = requests.get("http://www.baidu.com")
def req_baidu():
    res = requests.get("http://www.baidu.com")
def multi_req_mx():
    with futures.ThreadPoolExecutor(max_workers=3) as executor:
        for _ in range(10):
            executor.submit(req_baidu)
if __name__ == "__main__":
    # r1 = timeit.timeit(stmt=req_mx,number=1)
    # print(r1)
    # print('--------')
    # r2 = timeit.timeit(stmt=multi_req_mx,number=1)
    # print(r2)
    r1 = timeit.timeit(stmt=plus_to_k,number=1)
    print(r1)
    r2 = timeit.timeit(stmt=mulit_plus,number=1)
    print(r2)
------
1.2559407940134406
0.04530800099018961

这次可以看出来，多线程的确实比单线程要快。这又是为什么呢？

这是因为，在标准库和第三方库中，都被设计成了在进行IO密集型的业务时释放GIL，也就是一个线程在等待网络响应的过程中，释放了GIL，其他的线程就可以进行工作，从而加速了这个过程。

Python中的多线程是鸡肋吗

答案是看具体的业务场景：

1、CPU密集型代码(各种循环处理、计数等等)，在这种情况下，ticks计数很快就会达到阈值，然后触发GIL的释放与再竞争（多个线程来回切换当然是需要消耗资源的），所以python下的多线程对CPU密集型代码并不友好。

2、IO密集型代码(文件处理、网络爬虫等)，多线程能够有效提升效率(单线程下有IO操作会进行IO等待，造成不必要的时间浪费，而开启多线程能在线程A等待时，自动切换到线程B，可以不浪费CPU的资源，从而能提升程序执行效率)。所以python的多线程对IO密集型代码比较友好。

而在python3.x中，GIL不使用ticks计数，改为使用计时器（执行时间达到阈值后，当前线程释放GIL），这样对CPU密集型程序更加友好，但依然没有解决GIL导致的同一时间只能执行一个线程的问题，所以效率依然不尽如人意。

多核多线程比单核多线程更差，原因是单核下多线程，每次释放GIL，唤醒的那个线程都能获取到GIL锁，所以能够无缝执行，但多核下，CPU0释放GIL后，其他CPU上的线程都会进行竞争，但GIL可能会马上又被CPU0拿到，导致其他几个CPU上被唤醒后的线程会醒着等待到切换时间后又进入待调度状态，这样会造成线程颠簸(thrashing)，导致效率更低。

对于IO密集型操作，我们应该使用多进程，但是在IO密集型的操作上使用多进程并没有什么好处，因为服务器的CPU核心总是有限的，但是线程却可以开很多个。对于CPU密集型的工作来说，PyPy的速度会更快。

常用镜像的加速

由于众所周知的原因，在国内使用docker hub的速冻并不是很理想，对于常用的公共镜像，我们可以使用官方的国内镜像站：

docker中国

(不知道是不是因为家里是长城宽带的问题 dockerz中国打开也非常困难，只有挂代理才能打开)

使用下面的命令即可以使用国内的公共镜像：

1

$ docker pull registry.docker-cn.com/myname/myrepo:mytag

个人镜像的加速

然而对于个人的镜像，国内的官方镜像站并没有，还是要去美国的服务器上进行拉取。对于开发者个人的镜像加速，我们可以使用国内的daocloud提供的免费加速服务进行加速：

在linux下执行如下命令：

1

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io

等待命令执行完成，再去拉取个人镜像就会发现顺畅了很多。

应用场景

某个业务中由于并发问题导致的数据重复，给不同的会员分配了相同的卡券，在解决了并发数据重复的问题之后，需要对原先的重复数据进行修复，于是写了一个python的脚本文件用于纠正这个问题。脚本本身没有问题，问题在于，重复的数据有6000余行，而一条数据的修复操作大概需要1秒，这就需要2个小时左右才能跑完整个脚本。想要对整个过程进行加速处理，自然而然地想到了多线程。

遇到的问题

python3已经对原有的多线程进行了升级处理，官方推荐使用futures来进行并发的任务处理，我们这里就使用futures来实现多并发的数据处理。

1
2
3

with futures.ThreadPoolExecutor(max_workers=5) as executor:
        for i in range(len(my.keys)):
            executor.submit(my.mult_handle)

max_workers 是启动线程的数量，executor可以根据任务的数量适量添加。

然后发现脚本报了如下的错误：

1

pymysql.err.InternalError: Packet sequence number wrong - got 45 expected 0

解决方案

在脚本中不能使用多线程共享同一数据库连接，需要在每个execute方法前加上互斥锁

1
2
3

lock.acquire()
cursor.execute(command,data)
lock.release()

类型分类

1. 布尔类型 boolean
2. 数值类型 smallint,int,bigint,numeric,real,double
3. 字符类型 varchar,char,text postgresql中的varchar最大可以存储1G，text相当于mysql中的longtext
4. 二进制类型 bytea
5. 位串类型 bit,bit varying
6. 日期类型 date,time,timestamp
7. 枚举类型
8. 几何类型 point，line,lseg,path,polygon,cycle
9. 网络地址类型 cidr,inet,macaddr
10. 数组类型
11. 复合类型
12. xml类型
13. json类型
14. range类型
15. 对象标识符
16. 伪类型
17. 其他类型 如uuid，pg_lsn

类型转换

简单类型的可以直接输入：

1
2
3
4
5
6

select 1,1.142,'hello world';
 ?column? | ?column? |  ?column?   
----------+----------+-------------
        1 |    1.142 | hello world
(1 row)

对于其他复杂类型，可以使用类型名 加单引号的方式进行输入:

1
2
3
4
5

select bit '111000';
  bit   
--------
 111000
(1 row)

postgresql 支持使用标准sql转换 CAST进行类型转换：

1
2
3
4
5

select CAST('5' as int);
 int4 
------
    5
(1 row)

此外 postgresql还有另外一种简洁地类型转换方式即双冒号的方式进行转换:

1
2
3
4
5

select '5'::int;
 int4 
------
    5
(1 row)

布尔类型

布尔类型的状态要么是True要么是False，在postgresql中有多种表达方式，可以使用不带引号的TRUE或FALSE，也可以使用众多表示真假的字符表示，如’true’,’false’,’yes’,’no’等

1
2
3
4
5
6
7
8

insert into student (id,name,age,city) values (2,'李晨',12,'true');
INSERT 0 1
pgdemo=# select * from student;
 id | name | age | city 
----+------+-----+------
  1 | 张三 |   3 | 
  2 | 李四 |   5 | 
  2 | 李晨 |  12 | t

布尔类型的操作有AND、OR和NULL，判断可以使用IS，如：
expression IS TRUE

数值类型

整数类型

整数类型有三种：smallint,int和bigint。
int提供了范围、存储空间和性能之间的最佳平衡。一般只有在磁盘空间紧张的情况下使用smallint,在超过interger数值的时候才用bigint, 因为int要比bigint快得多。

smallint = int2
int = int4
bigint = int8

1
2
3
4

pgdemo=# insert into student (id,name,age,city,t_int2) values (3,'李晨',12,'true',32767);
INSERT 0 1
pgdemo=# insert into student (id,name,age,city,t_int2) values (3,'李晨',12,'true',32768);
ERROR:  smallint out of range

精确的小数

精确的小数类型可以使用numeric，numeric(m,n),numeric(m)表示。 numeric和decimal等效，都是SQL标准类型，可以存储最多1000位的小数，并且可以精确计算。适用于货币类型或者对精度要求高的场景，但运算速度低于整形或浮点型。

NUMERIC(precision,scale)

精度必须为正数，标度可以为零或正数。

在标准SQL和mysql中，语法DECIMAL等价于DECIMAL(M,0)，M在mysql中默认为10，但是postgresql觉得这样没有用，就改成了任意的精度和数值。如果你关心可移植性，最好总是声明精度和标度。

1
2
3
4
5
6
7
8
9

pgdemo=# create table t1 (id1 numeric(3),id2 numeric(3,0),id3 numeric(3,2),id4 numeric) ;
CREATE TABLE
pgdemo=# insert into t1 (id1,id2,id3,id4) values (3.1,3.5,3.123,3.123);
INSERT 0 1
pgdemo=# select * from t1;
 id1 | id2 | id3  |  id4  
-----+-----+------+-------
   3 |   4 | 3.12 | 3.123
(1 row)

浮点类型

数据类型real和double precision都是不精确、变精度的类型。

浮点数的使用需要注意：

1. 要求精确计算，使用numeric类型
2. 除了数值外，还有Infinity、-Infinity和NaN 分别代表，正无穷、负无穷和不是一个数字

序列类型

在序列类型中，serail和bigserial与mysql中的自增字段是一个意思。Postgresql实际是通过序列来实现的。Oracle与Postgresql都有序列，而myql没有。

1
2
3
4
5
6

create table t2 (
    id serial,
    name varchar
)
insert into t2 (name) values ('zhangsan');

货币类型

货币类型可以存储固定小数的货币数目，与浮点数不同，它是完全保留其精度的，其输出格式与lc_monetray设置有关。不同国家的输出格式不一样：

1
2
3
4
5

pgdemo=# select '123.12'::money;
  money  
---------
 $123.12
(1 row)

修改lc_monetary:

1

set lc_monetary='zh_CN.UFT-8'

没有语言包的时候需要安装。

字符串类型

Postgresql 中的字符串类型有varchar,char,text

1. varchar: 变长，最大1G，与Mysql中最大64KB不同，Oracle中最多4000字节
2. char: 定长，不足补空白，最大1G
3. text: 变长，无长度限制。

二进制数据

二进制数据类型

PostgreSQL只有一种二进制类型：bytea。此数据类型允许存储二进制字符串，对
MySQL和Oracle中的blob类型。Oracle的raw类型也可以使用这个类型取代。

二进制字符串是一个字节序列。它和普通字符串的区别有两个：首先，二进制字符串完 全可以存储字节零值，以及其他“不可打印”的字节（定义在32到 126范围之外的字节)。普 通字符串不允许存储字节零值，并且也不允许存储那些不符合选定的字符集编码的非法字节 值或字节序列。第二，对二进制字符串的处理实际上就是处理字节，而对字符串的处理，则 取决于区域设置。简单地说，二进制字符串适用于存储那些程序员认为是“原始字节”的数 据，比如图片内容，而字符串则适合存储文本。

二进制数据的转义表示

由于二进制字符串中的部分字符为不可打印字符，那么如何在一个SQL语句的文本串里
面输入bytea数值呢？答案是使用转义。要转义一个字节值，通常需要把它的数值转换成对应的三位八进制数，并且加两个前导反斜杠。有些八进制数值可以加一个反斜杠直接转义，比如单引号和反斜杠本身：

二进制数据类型的函数

二进制类型的函数见表

位串类型

位串类型定义

位串就是一串1和 0 的字符串。在 PostgreSQL中可以直观显式地操作二进制位。下面是两种SQL位类型：

1. bit(n)
2. bit varying(n)

其中的n是一个正整数。

bit(n)类型的数据必须准确匹配长度n，试图存储短些或者长一些的数据都是错误的。
bit varying(n)类型的数据是最长n 的变长类型，更长的串会被拒绝。
写一个没有长度的 bit等效于bit(1)，没有长度的bit varying表示没有长度限制。

如果明确地把一个位串值转换成bit(n)，那么它的右边将被截断，或者在右边补齐零到刚 好为n 位，而不会抛出任何错误。类似地，如果明确地把一个位串数值转换成bit varying(n), 若其超过了n位，那么它的右边也将被截断。

位串的使用

下面介绍位串类型的使用方法，见下例。

首先建一个测试表：

1

CREATE TABLE test (a BIT(3), b BIT VARYING(5));

插入一条数据：

1
2

pgdemo=# insert into test values (B'101',B'00');
INSERT 0 1

对于bit(n)字段，如果插人的数据超过了匹配的长度n, 将报错，长了也会报错:

1
2
3

ERROR: bit string length 2 does not match type bit(3) 
osdba=# INSERT INTO test VALUES (B'11110、 B'1011); 
ERROR: bit string length 5 does not match type bit(3)

对于bitvarying(n)，如果插入的数据超过了匹配的长度n，同样会报错:

1
2

osdba=# INSERT INTO test VALUES (B'110', B'1111011'); 
ERROR: bit string too long for type bit varying(5)

位串的操作符及函数

位串除了常用的比较操作符之外，主要支持一些位运算的操作符.

下面的SQL标准函数除了可以用于字符串之外，也可以用于位串:

1
2
3
4
5
6

length 
bit_length 
octet_length 
position 
substring 
overlay

下面的函数除支持二进制字符串，也可能用于位串:

1
2

get_bit
set_bit

当用于位串时，这些函数的位数将以串（最左边）的第一位作为〇位 。 另外，可以在整数和bit之间来回转换。示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

pgdemo=# select 66::bit(10)
;
    bit     
------------
 0001000010
(1 row)
pgdemo=# select 66::bit(3);
 bit 
-----
 010
(1 row)
pgdemo=# select 66::bit(5);
  bit  
-------
 00010
(1 row)
pgdemo=# select cast(-66 as bit(12));
     bit      
--------------
 111110111110
(1 row)

十进制、十六进制、二进制之间的转换示例。 十进制转二进制的示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

pgdemo=# select 88::bit(8);
   bit    
----------
 01011000
(1 row)
pgdemo=# select 'xff'::bit(8);
   bit    
----------
 11111111
(1 row)
pgdemo=# select 'xff'::bit(8)::int;
 int4 
------
  255
(1 row)
pgdemo=# select to_hex(255);
 to_hex 
--------
 ff
(1 row)

待续…

先决条件

微信小程序的的开发文档，不仅不完善，而且零散在各个不同的页面之间，很多文档只有说明缺乏实例，而且坑众多，给开发者带了不少的麻烦，调试要花掉太多的时间。

本着别人造好了轮子，我们拿来就用的实用主义原则，这次我们找到了python的一个开源sdk：wechatpy. 使用别人的轮子也有风险，文档说明更少，摸索需要一段时间，如果最后没有调通，也是白白浪费时间，请自行评估。

这次我们的目的是使用sdk来完成微信支付的整个闭环逻辑，首选需要准备的数据如下：

1. 微信公众号/小程序的APPID（密钥不需要）
2. 开通了微信支付的商户号
3. 微信支付商户号的密钥

微信支付的流程

1. 小程序/公众号端提交给后台订单信息，后台调用微信接口创建与预付单
2. 后台将prepay_id返回给小程序，小程序端调起支付功能
3. 用户支付完成，小程序完成支付
4. 微信服务器推送用户支付的消息到后台，后台修改订单的状态为完成

wechatpy创建预付单

1
2
3
4
5
6
7
8
9
10
11

pay = WeChatPay(appid=CurrentConfig.WX_APPID,           api_key=CurrentConfig.MNT_KEY,
                            sub_appid=CurrentConfig.WX_APPID, mch_id=CurrentConfig.MNT_ID)
res = pay.order.create(
                trade_type="JSAPI",
                body=coupons[0].coupon_code,
                total_fee=pay_amount,
                notify_url=CurrentConfig.NOTIFY_URL,
                user_id=members[0].open_id,
                out_trade_no=order_no
            )

其中WX_APPID为小程序或公众号ID，MNT_KEY为商户号密钥，MNT_ID是商户ID

out_trade_no是后台生成商户订单，需要唯一，如果不传就是微信自动生成的单号，由于我们需要在后续的微信推送的消息中处理订单，所以这里一定要写我们自己生成的订单号。

创建预付订单以后，微信会把生成的prepay_id返回：

1

prepay_id = res.get("prepay_id")

然后给小程序返回必须要的信息：

1
2
3
4
5
6
7
8
9
10

params = {
                    "appId": CurrentConfig.WX_APPID,
                    "timeStamp": timestamp,
                    "nonceStr": nonce_str,
                    "package": package,
                    "signType": "MD5",
                }
strs = '&'.join(['{}={}'.format(key, params.get(key))
                    for key in sorted(params.keys()) if params.get(key)]) + "&key={}".format(CurrentConfig.MNT_KEY)
paySign = md5(strs.encode("utf-8")).hexdigest().upper()

微信的签名逻辑需要注意：

1. 商户密钥不参与字典序排序
2. md5后需要转大写
3. 参与排序的字典名要与微信的文档严格保持一致

将timeStamp,package，nonceStr等返回给小程序，然后小程序调用wx.payment方法即可调起付款

微信消息推送

在统一下单的接口中有一个参数是notify_url,这个是微信支付完成后微信后台服务器给我们后台推送消息的URL接口地址，该URL不能带有参数，且必须是公网可以访问的地址。

微信推送消息是XML格式，使用wechatpy的parse_payment_result方法可以将结果转化成OrderedDict类型，且帮你做好了验签。

1
2
3

pay = WeChatPay(appid=CurrentConfig.WX_APPID, api_key=CurrentConfig.MNT_KEY,
                        sub_appid=CurrentConfig.WX_APPID, mch_id=CurrentConfig.MNT_ID)
        data = pay.parse_payment_result(request.data)

然后就可以根据返回的结果，处理之前的订单了。
唯一需要注意的一点，微信推送消息后，需要给微信服务器返回一个消息：

1

return "<xml><return_code><![CDATA[SUCCESS]]></return_code><return_msg><![CDATA[OK]]></return_msg></xml>"

psql工具简介

psql是命令行的工具，对应的图形化工具是pgadminIII，psql允许你交互式地输入命令，也可以通过文件的形式执行脚本。

简单使用

直接输入psql即可进入到命令行

1
2
3
4

psql (10.6 (Ubuntu 10.6-0ubuntu0.18.04.1))
Type "help" for help.
postgres=#

postgresql在安装的时候会自动创建一个与安装用户同名的超级用户，该用户的鉴权是通过操作系统实现的，所以，执行psql的时候不需要输入密码。

1
2
3
4
5
6
7
8
9
10
11

psql -l
                            List of databases
   Name    |  Owner   | Encoding |   Collate   |    Ctype    |   Access privileges   
-----------+----------+----------+-------------+-------------+-----------------------
 pgdemo    | postgres | UTF8     | en_US.UTF-8 | en_US.UTF-8 | 
 postgres  | postgres | UTF8     | en_US.UTF-8 | en_US.UTF-8 | 
 template0 | postgres | UTF8     | en_US.UTF-8 | en_US.UTF-8 | =c/postgres          +
           |          |          |             |             | postgres=CTc/postgres
 template1 | postgres | UTF8     | en_US.UTF-8 | en_US.UTF-8 | =c/postgres          +
           |          |          |             |             | postgres=CTc/**postgres**
(4 rows)

安装好后，默认会有一个postgres的数据库，还有两个模板数据库template0和template1，用户在创建数据库时，是默认从模板数据库template1克隆出来的，通常可以定制template1中的内容，以后创建的数据库默认会有这些表和内容。而template0是一个最简化的模板库，创建数据库时，如果指明从此数据库中继承，将会创建出一个最简化的数据库。

常用命令

\l

列出数据库列表

\d

显示匹配的关系，表、视图、索引和序列等

\d+

比\d显示更详细的信息，与表关联的注释以及表中的OID等

dt: 只显示匹配的表
di: 只显示匹配的索引
ds: 只显示匹配的序列
dv: 只显示匹配的视图
df: 只显示匹配的函数

列出sql执行的时间

\timing on

列出所有的schema

\dn

列出所有的表空间

\db

Postgresql中的表空间实际就是一个目录，放在一个表空间的表，就是把表数据放在目录下。

列出所有的角色和用户

\du 或 \dg

du和dg在postgresql中等价，原因在于postgresql中的角色和用户不分。

表权限

\dp 或 \z 显示表权限分配情况

指定字符集

\encoding

pset命令

1. pset border 0: 输出内容无边框
2. pset border 1: 边框只在内部
3. pset border 2: 内外都有边框

\x 拆分单行

\x 命令可以将表中的每一行数据都拆分成单行

执行外部sql脚本

1. \i 文件名
2. psql -s 文件名

显示信息

\echo

更多命令

\?

使用技巧和注意事项

自动补全

按两次tab键可以自动补全命令

自动提交

psql中的事物是自动提交的，想要不自动提交的方式：

1. 运行begin命令 然后执行dml语句，再commit或rollback
2. 直接使用 \set AUTOCOMMIT off 关掉自动提交

在psql中获取实际执行的sql

在启动psql的时候添加-E 参数就可以把psql中各种以\开头的命令实际执行的sql打印出来。

如果想在psql中显示某一条命令实际执行的sql，显示完又想关闭这个功能，则使用：

\set ECHO_HIDDEN on|off

SQL语法简介

SQL 是结构化查询语言的简称(STRUCTED QUERY LANGUAGE).
SQL 分为DQL、DML和DDL三种

DQL: 数据查询语言 基本就是select查询
DML: 数据操作语言 insert、update、delete
DDL：数据定义语言 创建、删除、修改表、索引等数据

DDL

建表语句：

1
2
3
4

create table table_name (
    field_name, varchar(40),
    ....
)

删表语句

1

drop table table_name;

DML

插入

1

insert into table_name (field1,field2,...) values (val1,val2);

更新

1

update talbe_name set field1 = val1, field2=val2 ....

删除

1

delete from table_name where ....

DQL

1

select * from table_name ....

过虑条件

where语句

1

select * from table_name where field1=va1;

排序

Order by语句

1

select * from table_name order by field1;

分组

Group by分组

1

select * from table_name

join

left join、right join、union join等

其他SQL语句

insert into …select

insert into …select 可以把数据从一张表的数据插入到另一张表中

union语句

union可以将从两张表中查询出来的语句整合到一张表中

1

select * from student where no = 1 union select * from student_bak where no =2;

union可以把结果集中相同的的两条记录合并成一条。
如果不想合并，请使用union all