python nltk.sent_tokenize ошибка ascii codec не может декодировать

Я мог бы успешно читать текст в переменной, но при попытке подделать тексты, получая эту странную ошибку: 

sentences=nltk.sent_tokenize(sample) UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 11: ordinal not in range(128)

Я знаю, что причиной ошибки является некоторая специальная строка / char, которую токенизатор не умеет читать / декодировать, а затем как обходить это? благодаря

Вы должны попробовать следующее: 

 sentences=nltk.sent_tokenize(sample.decode('utf-8'))

Вкратце, функция pos_tag NLTK3 не работает.

Однако функция NLTK2 работает нормально.

удалить nltk

pip install http://pypi.python.org/packages/source/n/nltk/nltk-2.0.4.tar.gz

С другой стороны, теггер довольно плохой (по-видимому, «консерватория» – это глагол). Я хочу, чтобы Спа-центр работал в Windows.

Interesting Posts

Сколько листьев есть до поддерева?

Как переопределить теги POS, назначенные тексту, по умолчанию nltk?

Как избежать вычислений каждый раз, когда модуль python перезагружается

Поиск символов Юникода в Python

НЛТК в производственной среде?

Как получить домен слов, используя WordNet в Python?

PyCharm печать «True» при импорте nltk

NLTK, считая номера слов для чисел с плавающей точкой

Создайте собственный трансформатор в PySpark ML

python: как использовать функции POS (часть речи) в scikit learn classfiers (SVM) и т. д.