Декодирование, если это не unicode

Вы можете просто попробовать декодировать его с помощью кодека «utf-8», и если это не сработает, верните объект.

 def myfunction(text): try: text = unicode(text, 'utf-8') except TypeError: return text print(myfunction(u'cer\xf3n')) # cerón 

Когда вы берете объект unicode и вызываете его метод decode с помощью кодека 'utf-8' , Python сначала пытается преобразовать объект unicode в строковый объект, а затем вызывает метод декодирования строкового объекта ('utf-8').

Иногда преобразование из объекта unicode в строковый объект выходит из строя, потому что Python2 по умолчанию использует ascii-кодек.

Поэтому, вообще, никогда не пытайтесь декодировать объекты unicode. Или, если вы должны попробовать, затащите его в блок try..except. Могут быть несколько кодеков, для которых декодирование юникодовых объектов работает в Python2 (см. Ниже), но они были удалены в Python3.

Посмотрите этот билет на ошибку Python для интересного обсуждения этой проблемы, а также блог Guido van Rossum :

«Мы применяем несколько иной подход к кодекам: в то время как в Python 2 кодеки могут принимать либо Unicode, либо 8- битные данные в качестве входных данных и производить либо в качестве вывода, в Py3k, кодирование всегда является переводом из строки Unicode (text) массив байтов и декодирование всегда идет в противоположном направлении. Это означает, что нам пришлось отказаться от нескольких кодеков, которые не подходят в этой модели, например rot13, base64 и bz2 (эти преобразования все еще поддерживаются, а не через кодировку / decode API). "

Я не знаю, какой хороший способ избежать проверки isinstance в вашей функции, но, возможно, кто-то еще будет. Я могу указать, что две странности, которые вы цитируете, – это потому, что вы делаете что-то, что не имеет смысла: пытаться декодировать в Unicode что-то, что уже декодировано в Unicode.

Первый должен выглядеть таким образом, который декодирует кодировку UTF-8 этой строки в версию Unicode:

 >>> 'cer\xc3\xb3n'.decode('utf-8') u'cer\xf3n' 

И ваша вторая должна выглядеть так (не используя строковый литерал u'' Unicode):

 >>> unicode('hello', 'utf-8') u'hello'