Я использую NLTK с wordnet в моем проекте. Я сделал установку вручную на своем ПК, с pip: pip3 install nltk –user в терминале, затем nltk.download() в оболочке python для загрузки wordnet. Я хочу сделать это с помощью файла setup.py, но я не знаю, как установить wordnet. На данный момент у меня есть этот кусок кода […]
Я не могу импортировать NER Stanford Tagger в NLTK. Это то, что я сделал: Загрузили код Java здесь и добавили переменную среды STANFORD_MODELS с указанием пути к папке, в которой хранится Java-код. Этого должно быть достаточно в соответствии с информацией, которая предоставляется на сайте NLTK. В нем говорится: «Модели Tagger необходимо загрузить с http://nlp.stanford.edu/software и […]
Я работаю над проектом, который требует, чтобы я пометил токены, используя nltk и python. Поэтому я хотел использовать это. Но придумал несколько проблем. Я просмотрел много других заданных вопросов и других форумов, но я все еще не мог понять суть проблемы. Проблема заключается в том, что я пытаюсь выполнить следующее: from nltk.tag import StanfordPOSTagger st […]
Например, я получил это маленькое дерево (это, очевидно, только поддерево): (VP (VBZ says) (SBAR (-NONE- *0*) (S-3 (-NONE- *T*)))) Следы деревьев – это те деревья, которые приводят к листу формы: *. *. Теперь я хочу удалить все поддеревья, которые являются деревом трассировки. Итак, для этого примера результат должен выглядеть следующим образом: (VP (VBZ says)) До […]
Я пишу сценарий для прогнозирования текста, используя Условное распределение частот NLTK. Я хочу сохранить дистрибутив в базе данных SQL для последующего использования с помощью JSON. Возможно ли это? Если да, как сбрасывать формат ConditionalFrequencyDistribution с помощью JSON? Или, может быть, есть еще один отличный способ его хранения? cfd = ConditionalFreqDist() prev_words = None cnt=0 for […]
Я использую классификатор Naive Bayes в Python NLTK для вычисления распределения вероятности для следующего примера: import nltk def main(): train = [(dict(feature=1), 'class_x'), (dict(feature=0), 'class_x'), (dict(feature=0), 'class_y'), (dict(feature=0), 'class_y')] test = [dict(feature=1)] classifier = nltk.classify.NaiveBayesClassifier.train(train) print("classes available: ", sorted(classifier.labels())) print ("input assigned to: ", classifier.classify_many(test)) for pdist in classifier.prob_classify_many(test): print ("probability distribution: ") print ('%.4f […]
Есть ли способ найти наиболее распространенный синоним слова с NLTK? Я хотел бы упростить предложение, используя самые распространенные синонимы каждого слова на нем. Если слово, используемое в предложении, уже является самым распространенным словом из его синонимов, его не следует изменять. Скажем, «Привет» чаще, чем «Привет»; «Дорогой» более распространен, чем «Ценой»; и «Друг» уже является самым […]
Я ищу эффективный способ построить матрицу Term Document в Python, которая может использоваться вместе с дополнительными данными. У меня есть текстовые данные с несколькими другими атрибутами. Я хотел бы провести некоторые анализы по тексту, и я хотел бы иметь возможность сопоставлять функции, извлеченные из текста (например, отдельные токены или темы LDA) с другими атрибутами. Мой […]
Я пытаюсь работать со Стэнфордским тегом POS в NLTK. Я использую пример, показанный здесь: http://www.nltk.org/api/nltk.tag.html#module-nltk.tag.stanford Я могу загружать все гладко: >>> import os >>> from nltk.tag import StanfordPOSTagger >>> os.environ['STANFORD_MODELS'] = '/path/to/stanford/folder/models') >>> st = StanfordPOSTagger('english-bidirectional-distsim.tagger',path_to_jar='/path/to/stanford/folder/stanford-postagger.jar') но при первом выполнении: >>> st.tag('What is the airspeed of an unladen swallow ?'.split()) это дает мне следующую ошибку: […]
Недавно я работал над использованием nltk для извлечения отношения из текста. поэтому я создаю образец текста: «Том – соучредитель Microsoft». и используя следующую программу для тестирования и возврата ничего. Я не могу понять, почему. Я использую версию NLTK: 3.2.1, версия python: 3.5.2. Вот мой код: import re import nltk from nltk.sem.relextract import extract_rels, rtuple from […]