кодек 'ascii' не может кодировать символ в позиции * ord не в диапазоне (128)

Есть несколько потоков в stackoverflow, но я не смог найти правильное решение проблемы в целом.

Я собрал огромные суммы текстовых данных из функции чтения urllib и сохранил их в файлах pickle.

• BeautifulSoup дает мне unicode + html символы, а не прямо вверх юникод. Это ошибка или непонимание?
• MIMEText UTF-8 кодирует проблемы при отправке электронной почты
• Запись строк unicode через sys.stdout в Python
• urllib.quote () бросает KeyError
• Проверьте строку, если это Юникод, какой стандарт UTF и длина его в байтах?
• Как указать диапазон символов Unicode в регулярном выражении в python?

Теперь я хочу записать эти данные в файл. Во время написания я получаю ошибки, похожие на –

'ascii' codec can't encode character u'\u2019' in position 16: ordinal not in range(128) 

и многие данные теряются.

Я полагаю, что данные с чтения urllib являются байтовыми данными

я пробовал

  1. text=text.decode('ascii','ignore') 2. s=filter(lambda x: x in string.printable, s) 3. text=u''+text text=text.decode().encode('utf-8') 

но все же я получаю подобные ошибки. Может ли кто-нибудь указать правильное решение. А также будут работать кодеки. У меня нет проблем, если байты конфликта не записываются в файл в виде строки, следовательно, потеря принимается.

 from django.utils.encoding import smart_str, smart_unicode text = u'\u2019' print smart_str(text) 

 pip install Django 

 text = text.encode('ascii', 'ignore')