Как обрабатывать строку ASCII как unicode и unescape экранированные символы в ней в python?

Мне потребовалось некоторое время, чтобы понять это, но на этой странице был лучший ответ:

 >>> s = '\u003cfoo/\u003e' >>> s.decode( 'unicode-escape' ) u'<foo/>' >>> s.decode( 'unicode-escape' ).encode( 'ascii' ) '<foo/>' 

Существует также кодек «raw-unicode-escape», чтобы обрабатывать другой способ указания строк Unicode. Для более подробной информации обратитесь к разделу «Конструкторы Unicode» на связанной странице (так как я не такой Unicode-saavy).

EDIT: см. Также Стандартные кодировки Python .

Нед Батчельдер сказал:

Это немного опасно в зависимости от того, откуда идет строка, но как насчет:

 >>> s = '\u003cfoo\u003e' >>> eval('u"'+s.replace('"', r'\"')+'"').encode('ascii') '<foo>' 

На самом деле этот метод можно сделать безопасным:

 >>> s = '\u003cfoo\u003e' >>> s_unescaped = eval('u"""'+s.replace('"', r'\"')+'-"""')[:-1] 

Обратите внимание на строку тройной кавычки и тире прямо перед закрытием 3-кавычек.

1. Использование 3-кавычной строки гарантирует, что если пользователь вводит '\\ "' (пробелы, добавленные для визуальной ясности) в строку, это не нарушит работу оценщика;
2. Черта в конце является отказоустойчивым, если строка пользователя заканчивается символом «\». Перед тем, как назначить результат, мы нарезаем вставленную черту с помощью [: -1]

Таким образом, не нужно будет беспокоиться о том, что вводит пользователь, если оно захвачено в необработанном формате.

На Python 2.5 правильная кодировка – «unicode_escape», а не «unicode-escape» (обратите внимание на подчеркивание).

Я не уверен, изменила ли новая версия Python имя юникода, но здесь работала только с подчеркиванием.

Во всяком случае, это он.

В какой-то момент вы столкнетесь с проблемами, когда сталкиваетесь с особыми символами, такими как китайские символы или смайлики в строке, которую вы хотите декодировать, т.е. ошибки, которые выглядят следующим образом:

 UnicodeEncodeError: 'ascii' codec can't encode characters in position 109-123: ordinal not in range(128) 

Для моего случая (обработка данных twitter) я декодировался следующим образом, чтобы разрешить мне видеть все символы без ошибок

 >>> s = '\u003cfoo\u003e' >>> s.decode( 'unicode-escape' ).encode( 'utf-8' ) >>> <foo> 

Это немного опасно в зависимости от того, откуда идет строка, но как насчет:

 >>> s = '\u003cfoo\u003e' >>> eval('u"'+s.replace('"', r'\"')+'"').encode('ascii') '<foo>'