解决Python UnicodeEncodeError问题

技术背景

在使用Python处理从不同网页抓取的文本时，经常会遇到UnicodeEncodeError错误。这通常是因为Python默认使用ASCII编码，而当遇到超出ASCII编码范围（0 - 127）的字符时，就会抛出该错误。例如，在使用BeautifulSoup解析网页时，不同网页的编码方式可能不同，有些网页可能包含非ASCII字符，如u'\xa0'，这就会导致编码错误。

实现步骤

1. 避免使用str()进行编码转换

在Python中，不要直接使用str()将Unicode字符串转换为字节字符串，因为str()会使用默认的ASCII编码进行转换，可能会引发UnicodeEncodeError。可以使用.encode()方法显式指定编码方式。

# 错误示例
# agent_contact = u'contact'
# agent_telno = u'\xa0123456'
# p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

# 正确示例
p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

2. 设置环境变量

可以通过设置PYTHONIOENCODING环境变量来指定Python的输入输出编码。在执行脚本之前，可以在shell中设置该变量：

export PYTHONIOENCODING=utf8

3. 忽略或替换非ASCII字符

如果不需要处理非ASCII字符，可以选择忽略它们。可以使用encode('ascii', 'ignore')方法来忽略非ASCII字符：

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

如果想保留一个占位符来表示被替换的字符，可以使用replace选项：

yourstring = yourstring.encode('ascii', 'replace').decode('ascii')

4. 检查并设置系统环境变量

确保系统的环境变量设置正确，特别是LANG和LC_ALL。可以通过以下命令来设置：

export LC_ALL='en_US.utf8'

5. 指定文件编码

在打开文件时，指定文件的编码方式：

open(foo, encoding='utf-8')

核心代码

示例1：使用.encode()方法

agent_contact = u'contact'
agent_telno = u'\xa0123456'
p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

示例2：忽略非ASCII字符

yourstring = u'City: Malmö'
yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')
print(yourstring)  # 输出: City: Malm

示例3：设置环境变量

export PYTHONIOENCODING=utf8
python your_script.py

最佳实践

• 使用“Unicode三明治”原则：在程序中，尽量在输入时将数据解码为Unicode字符串，在处理过程中使用Unicode字符串，在输出时将Unicode字符串编码为所需的字节字符串。
• 明确指定编码方式：在打开文件、进行网络请求等操作时，明确指定编码方式，避免使用默认的ASCII编码。
• 处理异常：在进行编码转换时，使用try-except语句捕获UnicodeEncodeError异常，并进行相应的处理。

常见问题

1. 为什么在终端中打印正常，但重定向到文件时出错？

这可能是因为终端的编码方式和文件的编码方式不一致。可以通过设置PYTHONIOENCODING环境变量或在代码中显式指定编码方式来解决。

2. 修改系统环境变量后仍然出错怎么办？

检查代码中是否有硬编码的编码方式，确保所有的编码转换都使用了正确的编码方式。另外，检查文件的实际编码是否与指定的编码方式一致。

3. 忽略非ASCII字符会有什么影响？

忽略非ASCII字符会导致部分数据丢失，特别是对于包含国际字符的文本。如果需要处理多语言文本，建议使用更合适的编码方式，如UTF-8。