江苏龙网

  1. 主页 > 生活百科 > >

一文让你搞懂令人脑瓜疼的python编码问题

python编码


一文让你搞懂令人脑瓜疼的python编码问题

文章插图
 
如果说在Python2中处理字符编码很蛋疼的话，如果幻想着python3不那么蛋疼，那么我只想说，你想多了，好不容易在python2中把字符编码的问题捣腾清楚了，但是换成python3，它会将之前的体系重新构建，使得之前的知识体系不能很好的运用，只能重新来构建 。感觉是从一个坑跳到了另外一个坑，下面来看看这个令人头疼的python编码问题 。
python2中的编码处理python2中将ASCII 码作为默认编码方式，对中文处理很不友好 。
>>> import sys>>> sys.getdefaultencoding()'ascii'关于 GBK 和 UTF-8，概念性的东西就不解释了，网上一搜便知，这里主要是来说明一下，将一个 GBK 编码的字符串转换成 UTF-8 编码，只需要通过 Unicode 来转换
>>> s = '杨'>>> s'\xd1\xee'>>> type(s)<class 'str'>>>> print s杨>>> su = s.decode('gbk')>>> suu'\u6768'>>> sutf8 = su.encode('utf-8')>>> sutf8'\xe6\x9d\xa8'>>> print sutf8鏉?其实就是将 unicode 作为一个中转站，将各种编码转换(decode)成unicode 使用 s.decode(chaset)，然后再将unicode编码的字符串转换(encode)成想要的编码 s.encode(chaset) 。
【一文让你搞懂令人脑瓜疼的python编码问题】其实这么看在python2中的字符编码问题也不是很复杂，主要是要弄清楚字符串本身是什么编码即可 。有一个库可以检测字符编码，chardet，使用chardet.detect(str) 来检查字符串编码，注意，它这里给出的只能做为参考，并不能很准确的给出编码，所以他的返回值中会有一个 confidence 的值，如果值是1.0，说明它100%的肯定是这个编码 。
python3中的编码处理再来看看python3的编码处理，python3中将unicode合并成了str，已经没有unicode这种类型了 。
>>> s = '杨'>>> type(s)<class 'str'>>>> su = u'杨'>>> type(su)<class 'str'>>>> s'杨'>>> su'杨'可以看出它们都是 str 类型 。那么如何在python3中将一个GBKx编码的字符串转成utf-8呢？ python3中有一种全新的数据类型 bytes，它表示二进制字节数据，初始化是在字符前加 b ,bytes 类型可以是 ASCII范围内的字符和其它十六进制形式的字符数据，但不能用中文等非ASCII字符表示 。
>>> b = b'a'>>> bb'a'>>> type(b)<class 'bytes'>>>> a = 'a'>>> type(a)<class 'str'>>>> b = b'杨彦星' File "<stdin>", line 1SyntaxError: bytes can only contain ASCII literal characters.虽然在python3中不能直接的以 b = b'杨彦星' 来初始化bytes，但是却可以用在python2中得到的十六进制表示来初始化
在python2中
>>> '杨彦星''\xd1\xee\xd1\xe5\xd0\xc7'>>>在python3中
>>> s = b'\xd1\xee\xd1\xe5\xd0\xc7'>>> print(s)b'\xd1\xee\xd1\xe5\xd0\xc7'>>> type(s)<class 'bytes'>>>> ss = s.decode('gbk')>>> ss'杨彦星'>>> type(ss)<class 'str'>>>>熟悉的中文又出现了，有了str 那么就可以将其转换成对应的编码了
>>> ss.encode('utf-8')b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f'依然不知道它显示的是个啥，但是你可以明确的知道，它在python3里就是杨彦星这个字符串的utf-8编码
>>> s8 = b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f'>>> s8.decode('utf-8')'杨彦星'最后使用代码做个总结
一文让你搞懂令人脑瓜疼的python编码问题

文章插图
 
结果如下
一文让你搞懂令人脑瓜疼的python编码问题

文章插图
 
由于今日头条上发的文章对于代码排版不太方便，所以我将代码片段都使用了截图的方式，想要复制代码请点击 "了解更多"来查看原文或者微信搜索公众号"序语程言"




    推荐阅读


    上一篇：Java架构-MYSQL大数据量下的操作与优化

    下一篇：详解ORACLE数据字典--V$SQL_WORKAREA_ACTIVE