python может кодировать utf-8, но не может декодировать

Похоже, вы используете Python 3.X. Вы .encode() Unicode строки ( u'xxx' или 'xxx' ). Вы .decode() байтовые строки b'xxxx' .

 #!/usr/bin/python # -*- coding: utf-8 -*- s = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf' # ^ # Need a 'b' # print(s.decode('utf-8')) 

Обратите внимание, что ваш терминал может не отображать строку Unicode. Консоль Windows Mine:

 Python 3.3.5 (v3.3.5:62cf4e77f785, Mar 9 2014, 10:35:05) [MSC v.1600 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> s = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf' >>> # ^ ... # Need a 'b' ... # ... print(s.decode('utf-8')) Traceback (most recent call last): File "<stdin>", line 4, in <module> File "D:\dev\Python33x64\lib\encodings\cp437.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_map)[0] UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-3: character maps to <undefined> 

Но он делает декодирование. '\uxxxx' представляет собой кодовую точку Unicode.

 >>> s.decode('utf-8') '\u0648\u0631\u0648\u062f' 

Моя среда разработки PythonWin поддерживает UTF-8 и может отображать символы:

 >>> s = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf' >>> print(s.decode('utf-8')) ورود 

Вы также можете записать данные в файл и отобразить его в редакторе, который поддерживает UTF-8, например, «Блокнот». так как ваша исходная строка уже UTF-8, просто напишите ее в файл непосредственно в виде байтов. 'wb' открывает файл в двоичном режиме, а байты записываются так:

 >>> with open('out.txt','wb') as f: ... f.write(s) 

Если у вас есть строка Unicode, вы можете написать ее как UTF-8 с помощью:

 >>> with open('out.txt','w',encoding='utf8') as f: ... f.write(u) # assuming "u" is already a decoded Unicode string. 

PS str – это встроенный тип. Не используйте его для имен переменных.

Python 2.x работает по-разному. 'xxxx' является байтовой строкой, а u'xxxx' является строкой Unicode, но вы все равно .encode() строка Unicode и .decode() строка байта.

Используйте следующий код:

 str = b'\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf' print(str.decode('utf-8')) 

Python имеет тип unicode первого класса, который можно использовать вместо простого типа strtestring str. Это легко, если вы согласны с необходимостью явного преобразования между байтом и строкой Unicode:

 >>> persian_enter = unicode('\xd9\x88\xd8\xb1\xd9\x88\xd8\xaf', 'utf8') >>> print persian_enter ورود 

Python 2 имел две глобальные функции, чтобы принуждать объекты к строкам: unicode (), чтобы принудить их к строкам Unicode и str (), чтобы принудить их к строкам, отличным от Unicode. Python 3 имеет только один строковый тип, строки Unicode , поэтому функция str () – это все, что вам нужно. (Функция unicode () больше не существует.)

подробнее о чтении и записи данных в Юникоде