python – Проблема сохранения символа Unicode для MySQL с Django

Спасибо всем, кто разместил здесь. Это действительно помогает моему юникодному знанию (и хмурые другие люди чему-то научились).

Мы, казалось, все лаем по неправильному дереву, так как я пытался упростить свою проблему и не дал ВСЕ информацию. Кажется, что я не использовал строки «REAL» unicode, а скорее BeautifulSoup.NavigableString, которые отображались как строки unicode. Таким образом, все распечатки выглядели как unicode, но они не были.

Где-то глубоко в библиотеке MySQLDB они не могли справиться с этими строками.

Это сработало:

 >>> Achievement.objects.get(name = u"Mirror's Edge\u2122") <Achievement: Mirror's Edge™> 

С другой стороны :

 >>> b = BeautifulSoup(u"<span>Mirror's Edge\u2122</span>").span.string >>> Achievement.objects.get(name = b) ... Exceptoins ... UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 13: ordinal not in range(128) 

Но это работает:

 >>> Achievement.objects.get(name = unicode(b)) <Achievement: Mirror's Edge™> 

Итак, еще раз спасибо за всю помощь в Юникоде, я уверен, что это пригодится. Но сейчас …

ПРЕДУПРЕЖДЕНИЕ : BeautifulSoup не возвращает строки REAL unicode и должен быть принужден к использованию unicode (), прежде чем делать что-либо значимое с ними.

Несколько замечаний:

• Python 2.x имеет два типа строк

  • «str», который в основном представляет собой массив байтов (поэтому вы можете хранить все, что вам нравится в нем)
  • «unicode», который кодируется Unicode UCS2 / UCS4

• Экземпляры этих типов считаются «декодированными» данными. Внутреннее представление является ссылкой, поэтому вы «декодируете» внешние данные в нем и «кодируете» в какой-то внешний формат.

• Хорошей стратегией является дешифрование как можно раньше, когда данные поступают в систему и кодируются как можно позже. Попытайтесь использовать unicode для строк в вашей системе как можно больше. (Я не согласен с Николаем в этом отношении).

• Этот аспект кодирования относится к ответу Николая. Он берет исходную строку unicode и кодирует ее в utf-8. Но это не решает проблему (по крайней мере, не в общем), потому что полученный байт-буфер может по- прежнему содержать байты вне диапазона (127) (я не проверял для \ u2122), что означает, что вы снова ударите одно и то же исключение ,

• Тем не менее анализ Николая утверждает, что вы передаете строку юникода, но где-то в системе это считается экземпляром str. Достаточно, если где-то функция str () применяется к вашему аргументу unicode.

• В этом случае Python использует так называемую стандартную кодировку, которая является ascii, если вы ее не измените. Существует функция sys.setdefaultencoding, которую вы можете использовать для переключения на, например, utf-8, но функция доступна только в ограниченном контексте, поэтому вы не можете легко ее использовать в коде приложения.

• Я чувствую, что проблема заключается куда-то глубже в слоях, которые вы вызываете. К сожалению, я не могу комментировать Django или MySQL / SQLalchemy, но мне интересно, можно ли указать тип unicode при объявлении атрибута name в вашей модели. Было бы хорошей практикой БД обрабатывать информацию о типе на полевом уровне. Может быть, есть альтернатива CharField ?!

• И да, вы можете смело вставлять одну цитату (') в строку с двойными кавычками (") и наоборот.

Вы используете строки типа 'unicode'. Если ваша модель или база данных SQL не поддерживает их или не знает, как конвертировать в UTF-8, просто выполните преобразование самостоятельно. Придерживайтесь простых строк (python type str) и конвертируйте, как в

 a = models.Achievement(name=u"Played Mirror's Edge\u2122".encode("UTF-8")) 

Я работал над этим вчера, и я обнаружил, что добавление «charset = utf8» и «use_unicode = 1» к строке подключения заставило его работать (используя SQLAlchemy, угадайте, что это та же проблема).

Поэтому моя строка выглядит так: «mysql: // user: pass @ host: 3306 / database? Use_unicode = 1 & charset = utf8"

У меня были подобные проблемы с mysql и postgres, но никаких проблем с sqllite.

Вот как я решил проблему с postgres (не тестировал этот трюк с mysql, но id asume он также решит его)

в файле, где u имеет дело с строкой unicode, выполните

 from django.utils.safestring import SafeUnicode 

и предположим, что unistr – это переменная, содержащая строку, выполните

 unistr = SafeUnicode(unistr) 

в моем случае я соскоблил с веб-сайта

оригинальный код, который давал проблемы (ht is beautifulsoup object): –

 keyword = ht.a.string 

исправление: –

 keyword = SafeUnicode(ht.a.string) 

Я не знаю, почему или что делает SafeUnicode, все, что я знаю, это решение моих проблем.

Я согласен с Николаем. Я уже сталкивался с проблемой использования UTF-8 даже в чистом Python (2.5).

Я, наконец, использовал функцию unicode (?):

 entry = unicode(sys.stdin, ENCODING) 

ENCODING зависело от языка, если я хорошо помню:

 import sys, locale ENCODING = locale.getdefaultlocale()[1] DEFAULT_ENCODING = sys.getdefaultencoding() 

Может быть, взгляните на HOWTO Python Unicode ?

Мне кажется, что апостроф выглядит странно, если он не исчезнет так:

 u"Played Mirror\'s Edge\u2122"