Соответствие букв на любом языке
Как я могу сопоставить букву с любого языка, используя регулярное выражение в python 3?
re.match([a-zA-Z]) будет соответствовать символам английского языка, но я хочу, чтобы все языки поддерживались одновременно.
- Как преобразовать формат файла из Unicode в ASCII с помощью Python?
- Ошибка открытия файла с помощью кодека utf-8 в python
- SQLAlchemy и UnicodeDecodeError
- Google App Engine: UnicodeDecodeError: кодек ascii не может декодировать байт 0xe2 в позиции 48: порядковый номер не в диапазоне (128)
- Поддерживает ли Python 2.5.2 Unicode для lower () и upper ()?
- Преобразование кодировки unicode в UTF8 hex в python
Я не хочу сопоставлять ' in can't или «подчеркивание» или любой другой тип форматирования. Я хочу, чтобы мое регулярное выражение соответствовало: c , a , n , t , Å , é и 中 .
6 Solutions collect form web for “Соответствие букв на любом языке”
Для работы регулярного выражения Unicode в Python я настоятельно рекомендую следующее:
- Используйте библиотеку
regexМэтью Барнетта вместо стандартногоre, что не подходит для регулярных выражений Unicode. - Используйте только Python 3, никогда Python 2. Вы хотите, чтобы все ваши строки были строками Unicode.
- Используйте только строковые литералы с логическими / абстрактными кодами Unicode, а не закодированными байтовыми строками.
- Установите свою кодировку в своих потоках и забудьте об этом. Если вы обнаружите, что когда-либо вручную
.encodeи т. Д., Вы почти наверняка делаете что-то неправильно. - Используйте только широкую сборку, где кодовые точки и кодовые единицы одинаковы, никогда не были узкими, что может показаться неприемлемым для устойчивости Unicode.
- Нормализовать все входящие строки в NFD на пути, а затем NFC на выходе. В противном случае вы не сможете получить надежное поведение.
Как только вы сделаете это, вы можете безопасно писать шаблоны, которые включают в себя \w или \p{script=Latin} или \p{alpha} и \p{lower} т. Д. И знаете, что все они будут делать то, что говорит Unicode Standard . В этом ответе я расскажу о всех этих делах бизнеса Python Unicode regex гораздо подробнее. Короткий рассказ – всегда использовать regex not re .
Для общего совета Unicode у меня также есть несколько разговоров с последним OSCON о регулярных выражениях Unicode, большинство из которых, кроме 3-го разговора, касаются не только Python, но и многие из них адаптируются.
Наконец, всегда есть этот ответ, чтобы поставить в сердце страх Бога (или, по крайней мере, Юникод).
Что не так с использованием специальной последовательности \ w?
# -*- coding: utf-8 -*- import re test = u"can't, Å, é, and 中ABC" print re.findall('\w+', test, re.UNICODE)
Вы можете
\p{L}
который соответствует любой кодовой точке Unicode, которая представляет собой букву скрипта. То есть, предполагая, что у вас действительно есть механизм регулярных выражений, совместимый с Unicode, который я действительно надеюсь на Python.
Создайте класс соответствия всех символов, которые вы хотите сопоставить. Это может стать очень , очень большим. Нет, нет указаний RegEx для «Все кандзи»;)
Может быть, легче сопоставить то, чего вы не хотите, но даже тогда этот класс станет чрезвычайно большим.
импортировать повторно
text = "не может, Å, é и 中 ABC"
print (re.findall ('\ w +', текст))
Это работает в Python 3. Но это также соответствует символам подчеркивания. Однако это похоже на то, что я хочу:
import regex
text = "не может, Å, é и 中 ABC _ sh_t"
print (regex.findall ('\ p {alpha} +', текст))
Для португальского языка используйте этот вариант:
[a-zA-ZÀ-ú ]+