Tag: unicode

Ошибка обработки файла Unicode

У меня есть исходный текстовый файл, содержащий только следующую строку и новую строку: Q853 \u0410\u043D\u0434\u0440\u0435\u0439 \u0410\u0440\u0441\u0435\u043D\u044C\u0435\u0432\u0438\u0447 \u0422\u0430\u0440\u043A\u043E\u0432\u0441\u043A\u0438\u0439 Символы экранируются, как показано выше, что означает, что \u05E9 действительно обратная косая черта, за которой следуют 5 буквенно-цифровых символов (а не символ Юникода). Я пытаюсь декодировать файл, используя следующий код: import codecs with codecs.open("wikidata-terms20.nt", 'r', encoding='unicode_escape') as input: […]

Подпроцесс Popen не выходит, когда stdin включает unicode

Я выполняю подпроцесс с использованием Popen и Popen его на вход следующим образом (используя Python 2.7.4): env = dict(os.environ) env['LC_ALL'] = 'en_US.UTF-8' args = ['chasen', '-i u', '-F"%m "'] process = Popen(args, stdout=PIPE, stderr=PIPE, stdin=PIPE, env=env) out, err = process.communicate(input=string) Добавление записи в среду, в которой она выполняется, необходимо, потому что входная строка содержит японские […]

Кодирование ввода пользователя для сохранения в MongoDB

Я пытаюсь определить лучшие практики хранения и отображения пользовательского ввода в MongoDB. Очевидно, что в SQL-базах данных все входные данные пользователя должны быть закодированы для предотвращения инъекционных атак. Тем не менее, я понимаю, что с MongoDB нам нужно больше беспокоиться об атаках XSS, так что пользовательский ввод необходимо закодировать на сервере, прежде чем хранить его […]

Python3 src кодировки Emojis

Я бы хотел напечатать emojis из python (3) src Я работаю над проектом, который анализирует истории сообщений Facebook и загружает загруженный файл сырого файла htm. Я нахожу, что много emojis отображаются как поля с вопросительными знаками, как это происходит, когда значение не может быть отображено. Если я скопирую эти символы в терминал как строки, я […]

UnicodeDecodeError: кодек ascii не может декодировать байт 0x87 в позиции 10: порядковый номер не в диапазоне (128)

Я работаю с images2gif и получаю эту ошибку. Есть идеи? UnicodeDecodeError: 'ascii' codec can't decode byte 0x87 in position 10: ordinal not in range(128) Тестовый файл: from PIL import Image from images2gif import writeGif FRAMES = 2 FRAME_DELAY = 0.75 WIDTH, HEIGHT = 600, 600 frames = [] img1 = Image.open('1.jpg') img2 = Image.open('2.jpg') frames.append(img1) […]

Python с MySql "SAWarning: Unicode type получен не-unicode bind value value" error

Прежде чем задать этот вопрос, я проверил другие сообщения по подобным. Полученные ответы просто подавили предупреждение, а не предложили средство. У меня есть веб-приложение, написанное с помощью Python + Flask, которое обрабатывает асинхронные запросы, отправленные с jquery в формате Unicode. Content-Type:application/json; charset=UTF-8 Ниже приведен пример данных, отправленных из моего веб-браузера на сервер. Данные могут представлять […]

Ввод символов utf-8 в python в интерактивном режиме на OS-X

Я пытаюсь ввести некоторый испанский символ в строки в интерактивном режиме. Например, option+ee для создания 'é', чтобы я сделал заявление, например string="él" . Это работает в терминале, но в python (любая версия, которую я установил, из которой у меня есть несколько), это не так. Он ничего не производит. Это включает попытку вставить символы. Это проблема, […]

Python open () поведение файлов в формате unicode различно в разных ОС

С именем файла выглядит: filename = u"/direc/tories/español.jpg" И используя open () как: fp = open(filename, "rb") Это правильно откроет файл в OSX (10.7), но в Ubuntu 11.04 функция open () попытается открыть u"espa\xf1ol.jpg" , и это не сработает с IOError. Посредством процесса исправления я проверил sys.getfilesystemencoding() в обеих системах, оба установлены на utf-8 (хотя Ubuntu […]

Python писать (iPhone) Emoji в файл

Я пытаюсь написать простой скрипт, который может сохранить ввод пользователя (исходящий из iPhone) в текстовый файл. Проблема, с которой я сталкиваюсь, заключается в том, что, когда пользователь использует значок Emoji, он разрушает все это. ОС: Ubuntu Python Версия: 2.7.3 В настоящее время мой код выглядит так: f = codecs.open(path, "w+", encoding="utf8") f.write("Desc: " + json_obj["description"]) […]

Обработка арабских символов в юникоде

Когда юникод знает, когда читать справа налево или слева направо. И в слове, и в питоне. Например, هذا هو الملعون جيد رجل الصباح! Если вам удастся отступить, это будет прочитано справа налево. Я напечатал представление байтов в Юникоде, которое u'\u0647\u0630\u0627 \u0647\u0648 \u0627\u0644\u0645\u0644\u0639\u0648\u0646 \u062c\u064a\u062f \u0631\u062c\u0644 \u0627\u0644\u0635\u0628\u0627\u062d!' Но я не видел ничего, что означает слева направо или […]

Python - лучший язык программирования в мире.