Tag: unicode

UnicodeDecodeError при перенаправлении в файл

Я запускаю этот фрагмент дважды, на терминале Ubuntu (кодировка, установленная на utf-8), один раз с ./test.py а затем с ./test.py >out.txt : uni = u"\u001A\u0BC3\u1451\U0001D10C" print uni Без перенаправления он печатает мусор. При перенаправлении я получаю UnicodeDecodeError. Может кто-нибудь объяснить, почему я получаю ошибку только во втором случае, или даже лучше дать подробное объяснение того, […]

Где находится «лучшая ASCII Python для этой Unicode»?

У меня есть текст, который использует пунктуацию Unicode, например, левую двойную кавычку, правую одиночную кавычку для апострофа и т. Д., И мне это нужно в ASCII. У Python есть база данных этих символов с очевидными заменителями ASCII, поэтому я могу сделать лучше, чем превратить их всех в "?" ?

UnicodeDecodeError: кодек ascii не может декодировать байт 0xef в позиции 1

У меня есть несколько проблем, пытающихся закодировать строку в UTF-8. Я пробовал много вещей, включая использование string.encode('utf-8') и unicode(string) , но я получаю ошибку: UnicodeDecodeError: кодек ascii не может декодировать байт 0xef в позиции 1: порядковый номер не в диапазоне (128) Это моя строка: (。・ω・。)ノ Я не понимаю, что происходит, идея? Изменить: проблема заключается в […]

Python – кодек ascii не может декодировать байт

Я действительно смущен. Я попытался кодировать, но ошибка сказала, что can't decode… >>> "你好".encode("utf8") Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128) Я знаю, как избежать ошибки с префиксом «u» в строке. Мне просто интересно, почему ошибка «не […]

Регулярное выражение Python, соответствующее свойствам Unicode

Perl и некоторые другие текущие механизмы регулярных выражений поддерживают свойства Unicode, такие как категория, в регулярном выражении. Например, в Perl вы можете использовать \p{Ll} для соответствия произвольной строчной букве или p{Zs} для любого разделителя пространства. Я не вижу поддержки этого в линиях 2.x и 3.x Python (с сожалением). Кто-нибудь знает о хорошей стратегии, чтобы получить […]

Как заставить интерпретатор python правильно обрабатывать символы, отличные от ASCII, в строковых операциях?

У меня есть строка, которая выглядит так: 6Â 918Â 417Â 712 Ясный способ обрезать эту строку (как я понимаю Python) просто сказать, что строка находится в переменной s , мы получаем: s.replace('Â ', '') Это должно делать свое дело. Но, конечно же, он жалуется, что символ не в ASCII '\xc2' в файле blabla.py не закодирован. […]

Типы Python str и Unicode

Работая с Python 2.7, мне интересно, какое реальное преимущество имеет использование unicode типа вместо str , поскольку оба они, похоже, могут хранить строки Unicode. Есть ли какая-то особая причина, из-за которой можно установить коды unicode строки unicode используя scape char \ ?: Выполнение модуля с помощью: # -*- coding: utf-8 -*- a = 'á' ua […]

Python: конвертировать Unicode в ASCII без ошибок

Мой код просто царапает веб-страницу, а затем преобразует ее в Юникод. html = urllib.urlopen(link).read() html.encode("utf8","ignore") self.response.out.write(html) Но я получаю UnicodeDecodeError : Traceback (most recent call last): File "/Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/ext/webapp/__init__.py", line 507, in __call__ handler.get(*groups) File "/Users/greg/clounce/main.py", line 55, in get html.encode("utf8","ignore") UnicodeDecodeError: 'ascii' codec can't decode byte 0xa0 in position 2818: ordinal not in range(128) Поэтому […]

Как получить строковые объекты вместо Unicode от JSON?

Я использую Python 2 для разбора JSON из текстовых файлов с кодировкой ASCII . При загрузке этих файлов с помощью json или simplejson все мои строковые значения передаются в объекты Unicode вместо строковых объектов. Проблема в том, что я должен использовать данные с некоторыми библиотеками, которые принимают только строковые объекты. Я не могу изменять библиотеки […]

Изменение кодировки Windows cmd вызывает сбой Python

Сначала я меняю Windows CMD-кодировку на utf-8 и запускаю интерпретатор Python: chcp 65001 python Затем я пытаюсь напечатать внутри него юникод, и когда я это делаю, Python вылетает необычным образом (я просто получаю приглашение cmd в том же окне). >>> import sys >>> print u'ëèæîð'.encode(sys.stdin.encoding) Любые идеи, почему это происходит и как заставить его работать? […]

Python - лучший язык программирования в мире.