Tag: unicode

Как разбить юникоды и сохранить их в базах данных utf-8

У меня есть база данных (mysql), где я хочу хранить маринованные данные. Данные могут быть, например, словарем, который может содержать unicode, например data = {1 : u'é'} и база данных (mysql) находится в utf-8. Когда я мариною, import pickle pickled_data = pickle.dumps(data) print type(pickled_data) # returns <type 'str'> результат pickled_data – это строка. Когда я […]

UnicodeEncodeError при перенаправлении stdout

У меня проблема с Unicode в Python. Я могу печатать выходные данные в обычном терминале, но если я перенаправляю stdout другое место (или захватываю его с помощью модуля subprocess ), я получаю UnicodeEncodeError : $ cat example.py print u'Example: \u00F1' $ python example.py Example: ñ $ python example.py > /dev/null Traceback (most recent call last): […]

ConfigParser с элементами Unicode

мои проблемы с ConfigParser продолжаются. Кажется, он не поддерживает Unicode очень хорошо. Конфигурационный файл действительно сохраняется как UTF-8, но когда ConfigParser читает его, он, похоже, кодируется во что-то другое. Я предположил, что это латинский-1, и я могу переопределить optionxform : — configfile.cfg — [rules] Häjsan = 3 ☃ = my snowman — myapp.py — # […]

Python urllib.request и вопрос об декодировании utf8

Я пишу простой скрипт CGI Python, который захватывает веб-страницу и отображает HTML-файл в веб-браузере (действуя как прокси-сервер). Вот сценарий: #!/usr/bin/env python3.0 import urllib.request site = "http://reddit.com/" site = urllib.request.urlopen(site) site = site.read() site = site.decode('utf8') print("Content-type: text/html\n\n") print(site) Этот скрипт отлично работает при запуске из командной строки, но когда он просматривает его с помощью веб-браузера, […]

Поддерживает ли python юникод за пределами базовой многоязычной плоскости?

Ниже приведен простой тест. Кажется, что работа прекрасна. но len и x for x in , похоже, не правильно разделяют текст юникода в Python 2.6 и 2.7: In [1]: u"爨爵" Out[1]: u'\U0002f920\U0002f921' In [2]: [x for x in u"爨爵"] Out[2]: [u'\ud87e', u'\udd20', u'\ud87e', u'\udd21'] Хорошая новость: Python 3.3 делает правильную вещь ™. Есть ли надежда […]

Latin-1 и фабрика unicode в Python

У меня есть скрипт Python 2.6, который заглатывает специальные символы, закодированные на латинице 1, которые я извлекаю из базы данных SQL Server. Я хотел бы напечатать эти символы, но я немного ограничен, потому что я использую библиотеку, которая вызывает фабрику unicode , и я не знаю, как заставить Python использовать кодек, отличный от ascii . […]

Google App Engine TextProperty и UTF-8: когда кодировать / декодировать

Я нахожусь в Google App Engine 2.5 с шаблоном Django и рамкой Webapp. Db.TextProperty и UTF-8, Unicode и Decode / Encode так меня смутили. Я бы очень признателен, что некоторые эксперты могут предложить некоторые предложения. Я всю ночь пробовал в Интернете, и у меня так много вопросов. То, что я пытаюсь сделать: [utf-8 form input] […]

Декодирование, если это не unicode

Я хочу, чтобы моя функция приняла аргумент, который может быть объектом unicode или строкой, кодированной utf-8. Внутри моей функции я хочу преобразовать аргумент в unicode. У меня есть что-то вроде этого: def myfunction(text): if not isinstance(text, unicode): text = unicode(text, 'utf-8') … Можно ли избежать использования isinstance? Я искал что-то более утиное. Во время моих […]

Прочитайте файл unicode в python, который объявляет его кодировку так же, как источник python

Я хочу написать программу python, которая читает файлы, содержащие текст в Юникоде. Эти файлы обычно кодируются с помощью UTF-8, но могут и не быть; Если это не так, альтернативная кодировка будет явно объявлена ​​в начале файла. Точнее, он будет объявлен с использованием тех же правил, что и сам Python, чтобы позволить исходному коду Python иметь […]

как писать код unicode csv в Python 2.7

Я хочу записать данные в файлы, где строка из CSV должна выглядеть как этот список (непосредственно из консоли Python): row = ['\xef\xbb\xbft_11651497', 'http://kozbeszerzes.ceu.hu/entity/t/11651497.xml', "Szabolcs Mag '98 Kft.", 'ny\xc3\xadregyh\xc3\xa1za', 'ny\xc3\xadregyh\xc3\xa1za', '4400', 't\xc3\xbcnde utca 20.', 47.935175, 21.744975, u'Ny\xedregyh\xe1za', u'Borb\xe1nya', u'Szabolcs-Szatm\xe1r-Bereg', u'Ny\xedregyh\xe1zai', u'20', u'T\xfcnde utca', u'Magyarorsz\xe1g', u'4405'] Py2k не делает Unicode, но у меня была оболочка UnicodeWriter: import […]

Python - лучший язык программирования в мире.