Python字符编码_中文乱码

Python中可能会出现各种各样的中文乱码问题,在python程序运行中,有三个地方与编码直接相关

1.系统默认编码

windows系统默认编码为GBK,Linux系统默认为UTF-8(不知道是不是所有Linux都默认UTF-8,但至少Ubuntu是UTF-8)

意味着在Linux终端上输出GBK会导致乱码, 在Windows控制台输出UTF-8会导致乱码//查看系统默认编码import sys, locale, osprint(sys.stdout.encoding)//或者print(locale.getpreferredencoding())2.Python源文件编码格式

Python源文件编码格式与操作系统有关,还和文本编辑器有关.

在Windows的记事本编写代码保存的是GBK编码格式在Notepad++等其他文本编辑器中可以更改保存的编码格式

Python默认认为源文件为ANSI编码,若果源文件保存成了其他编码,Python在解析源文件的时候可能会出现字符编码不认识,因为ANSI字符集中不存在,从

而导致程序执行中断

这种情况可以通过在程序第一行或者第二行加上(以下为源文件保存为utf-8的情况,如果保存成了gbk,将下面代码中utf-8替换成gbk即可)#encoding:utf-8或者#-*- encoding:utf-8 -*-这样Python会以指定编码格式来解析源文件

3.控制台输出/读写文件

Python中有两种字符相关的类型,一种是str,另一种是是一个字).其中strstrbyte(str是字节串, bytecharunicode类似java中的char(unicode为字串,char是一个字)str和unicode可以互相转换

#str转unicode,charset是当前str的编码格式u = str.decode(\"charset\")#unicode转str,charset为目标编码格式s = unicode.encode(\"charset\")unicode可以通过str转换过来,也可以直接申明,如下

uStr=u'Python'注意!!!在代码中不要直接申明中文unicode,如下uStr=u'中文'这样将导致uStr为乱码,也无法转换(转换很可能会报错),原因如下(假设源代码保存为gbk格式)

在源代码中,`中文` 二字被保存成了`\\xd6\\xd0\\xce\\xc4 `,那么 `u'中文'`结果就成了 `u'\\xd6\\xd0\\xce\\xc4'`.实际上 `中国` 的unicode为 `u'\中\文'.而`u'\\xd6\\xd0\\xce\\xc4'`对于任何一种编码可能都是错误编码通过上面的说明,现在要使控制台输出不为乱码就容易了.

确保最后输出的字符和系统默认字符编码一致即可,如windows下,utf-8的字符可以使用下面的代码utf8Str.decode(\"utf-8\").encode(\"gbk\")对于Linux下gbk编码可以使用一下代码gbkStr.decode(\"gbk\").encode(\"utf-8\")实际上Python在输出unicode字符串的时候会先调用encode(\"charset\")再输出,这里charset就是系统默认编码,所只要正确的将str转换成了unicode,系统就能正确输出

对于str类型,Python不会自行转换,如果str的编码和系统默认编码不一致,就会导致乱码

读写文件时需要知道文件的编码格式(也可以使用程序检查文件的编码格式),然后做出正确的选择.例如对于源代码为gbk格式,数据文件为utf-8格式,在windows下.subStr = \"中文\"fp=open('utf8file.txt','r')for line in fp: line.find(subStr)在上面的代码中无论数据文件中是否有\"中文\"二字,程序都是找不到的,因为两种str的字符编码不同,就是找到了也是错误的,可以将subStr转为utf8格式,也可以将line转为gbk格式在查找

结束语

刚开始写这篇文章的时候思路并不是很清晰,很多点也不知道,在写的过程中想到了一些问题,然后网上查找资料,并自己写代码验证.这样渐渐的越来越明了,理解得也越来越透彻.大部分中文乱码问题应该可以从上面找到解决方法如有疑问,欢迎讨论 tangchenyi@mail.hfut.edu.cn