Python NLTK: SyntaxError: не-ASCII-символ '\ xc3' в файле (анализ сглаживания -NLP)

Я играю с NLTK, чтобы выполнить задание по анализу настроений. Я использую Python 2.7. NLTK 3.0 и NUMPY 1.9.1.

Это код:

__author__ = 'karan' import nltk import re import sys def main(): print("Start"); # getting the stop words stopWords = open("english.txt","r"); stop_word = stopWords.read().split(); AllStopWrd = [] for wd in stop_word: AllStopWrd.append(wd); print("stop words-> ",AllStopWrd); # sample and also cleaning it tweet1= 'Love, my new toyí ½í¸í ½í¸#iPhone6. Its good http://t.co/sHY1cab7sx' print("old tweet-> ",tweet1) tweet1 = tweet1.lower() tweet1 = ' '.join(re.sub("(@[A-Za-z0-9]+)|([^0-9A-Za-z \t])|(\w+:\/\/\S+)"," ",tweet1).split()) print(tweet1); tw = tweet1.split() print(tw) #tokenize sentences = nltk.word_tokenize(tweet1) print("tokenized ->", sentences) #remove stop words Otweet =[] for w in tw: if w not in AllStopWrd: Otweet.append(w); print("sans stop word-> ",Otweet) # get taggers for neg/pos/inc/dec/inv words taggers ={} negWords = open("neg.txt","r"); neg_word = negWords.read().split(); print("ned words-> ",neg_word) posWords = open("pos.txt","r"); pos_word = posWords.read().split(); print("pos words-> ",pos_word) incrWords = open("incr.txt","r"); inc_word = incrWords.read().split(); print("incr words-> ",inc_word) decrWords = open("decr.txt","r"); dec_word = decrWords.read().split(); print("dec wrds-> ",dec_word) invWords = open("inverse.txt","r"); inv_word = invWords.read().split(); print("inverse words-> ",inv_word) for nw in neg_word: taggers.update({nw:'negative'}); for pw in pos_word: taggers.update({pw:'positive'}); for iw in inc_word: taggers.update({iw:'inc'}); for dw in dec_word: taggers.update({dw:'dec'}); for ivw in inv_word: taggers.update({ivw:'inv'}); print("tagger-> ",taggers) print(taggers.get('little')) # get parts of speech posTagger = [nltk.pos_tag(tw)] print("posTagger-> ",posTagger) main(); 

Это ошибка, которую я получаю при запуске моего кода:

 SyntaxError: Non-ASCII character '\xc3' in file C:/Users/karan/PycharmProjects/mainProject/sentiment.py on line 19, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details 

Как исправить эту ошибку?

Я также пробовал код с использованием Python 3.4.2 и с nltk 3.0 и NumPy 1.9.1, но затем я получаю ошибку:

 Traceback (most recent call last): File "C:/Users/karan/PycharmProjects/mainProject/sentiment.py", line 80, in <module> main(); File "C:/Users/karan/PycharmProjects/mainProject/sentiment.py", line 72, in main posTagger = [nltk.pos_tag(tw)] File "C:\Python34\lib\site-packages\nltk\tag\__init__.py", line 100, in pos_tag tagger = load(_POS_TAGGER) File "C:\Python34\lib\site-packages\nltk\data.py", line 779, in load resource_val = pickle.load(opened_resource) UnicodeDecodeError: 'ascii' codec can't decode byte 0xcb in position 0: ordinal not in range(128) 

  • Печать строки арабского Unicode в Python (x, y)
  • Юникод Python: как тестировать строку unicode
  • Является ли u'string 'таким же, как' string'.decode ('XXX')
  • Python: UnicodeDecodeError: кодек ascii не может декодировать байт 0xef в позиции 0: порядковый номер не в диапазоне (128)
  • Распечатайте знак / знак одобрения (✓) U + 2713 в Python
  • Python: использование .format () в строке с экранированным Unicode
  • urllib.quote () бросает KeyError
  • В чем разница между префиксом u и префиксом unicode () в python?
  • One Solution collect form web for “Python NLTK: SyntaxError: не-ASCII-символ '\ xc3' в файле (анализ сглаживания -NLP)”

    Добавьте следующее в начало файла # coding=utf-8

    Если вы перейдете к ссылке в ошибке, вы можете увидеть причину:

    Определение кодировки

    Python по умолчанию будет использовать ASCII в качестве стандартной кодировки, если не будут указаны другие подсказки кодирования. Чтобы определить кодировку исходного кода, магический комментарий должен быть помещен в исходные файлы либо в первую, либо в вторую строку в файле, например: # coding =

    Python - лучший язык программирования в мире.