В python, извлечение неанглийских слов

Использовать капитал \W = Соответствует неальфанумерному символу, исключая _ .

 >>> re.findall('[\W]+', u"# @, --►(Q1)-grijesh--b----►((Qf)), "); [u'# @, --\u25ba(', u')-', u'--', u'----\u25ba((', u')), '] 

От: Unicode HOWTO? Для чтения текстового файла с однодисковым кодированием используйте:

 import codecs f = codecs.open('unicode.rst', encoding='utf-8') for l in f: # regex code here 

У меня есть файл:

 :~$ cat file # @, --►(Q1)-grijesh--b----►((Qf)), 

Чтение его с Python:

 >>> import re >>> import codecs >>> f = codecs.open('file', encoding='utf-8') >>> for l in f: ... print re.findall('[\W]+', l) ... [u'# @, --\u25ba(', u')-', u'--', u'----\u25ba((', u')),\n'] >>> 

Чтобы прочитать алфавитные слова, попробуйте

 >>> f = codecs.open('file', encoding='utf-8') >>> for l in f: ... print re.findall('[^\W]+', l) ... [u'Q1', u'grijesh', u'b', u'Qf'] 

Примечание: small \w Соответствует буквенно-цифровому символу, включая _ .

Чтобы найти все символы в диапазоне от AC00 до D7AF:

 import re L = re.findall(u'[\uac00-\ud7af]+', data.decode('utf-8')) 

Чтобы найти все слова, отличные от ascii:

 import re def isascii(word): return all(ord(c) < 128 for c in word) words = re.findall(u'\w+', data.decode('utf-8')) non_ascii_words = [w for w in words if not isascii(w)]