Tag: scikit learn

Scikit-learn перекрестная проверка для регрессии

Как можно использовать cross_val_score для регрессии? Оценка по умолчанию, по-видимому, является точностью, что не очень важно для регрессии. Предположительно, я хотел бы использовать ошибку среднего квадрата, можно ли указать это в cross_val_score ? Пробовал следующие два, но не работает: scores = cross_validation.cross_val_score(svr, diabetes.data, diabetes.target, cv=5, scoring='mean_squared_error') а также scores = cross_validation.cross_val_score(svr, diabetes.data, diabetes.target, cv=5, scoring=metrics.mean_squared_error) […]

Можно ли переключить определенный шаг в конвейере sklearn?

Интересно, можем ли мы создать «необязательный» шаг в sklearn.pipeline . Например, для задачи классификации я могу попробовать использовать ExtraTreesClassifier с AND без трансформации PCA перед этим. На практике это может быть конвейер с дополнительным параметром, определяющим переключатель шага PCA , поэтому я могу оптимизировать его через GridSearch и т. Д. Я не вижу такой реализации […]

Правая функция для нормализации ввода SVM

Я нашел несколько вопросов, связанных с этим, но никто не решал мои сомнения. В частности, два ответа на этот вопрос еще больше смутили меня. Я тренирую линейный SVM поверх набора функций – свернутых функций нейронной сети, возникающих в результате изображений. Я, например, например, матрица 3500×4096 X с примерами по строкам и функциям на столбцах, как […]

Как избежать одного окна Spark Streaming, блокирующего другое окно с запуском некоторого собственного кода Python

Я запускаю Spark Streaming с двумя разными окнами (в окне для обучения модели с SKLearn, а другой для прогнозирования значений на основе этой модели), и мне интересно, как я могу избежать одного окна («медленного» учебного окна) до тренировать модель без «блокировки» окна «быстрого» прогноза. Мой упрощенный код выглядит следующим образом: conf = SparkConf() conf.setMaster("local[4]") sc […]

Обучение различных классификаторов scikit-learn на нескольких процессорах для каждой итерации

У меня есть сценарий, который произвольно генерирует набор данных и обучает несколько классификаторов, чтобы сравнивать их друг с другом (он очень похож на http://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html ): from itertools import product import numpy as np from sklearn.svm import SVC from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier from sklearn.naive_bayes import GaussianNB, MultinomialNB from sklearn.discriminant_analysis import LinearDiscriminantAnalysis […]

Сетка поиска гиперпараметрической оценки кластеризации в scikit-learn

Я группирую образец из примерно 100 записей (немаркированных) и пытаюсь использовать grid_search для оценки алгоритма кластеризации с различными гиперпараметрами. Я забил, используя silhouette_score который отлично работает. Моя проблема здесь в том, что мне не нужно использовать аспект кросс-валидации GridSearchCV / RandomizedSearchCV , но я не могу найти простой GridSearch / RandomizedSearch . Я могу написать […]

Точность оценки в pyTorch LSTM

Я использовал этот учебник LSTM в наборе данных NER wikigold.conll training_data содержит список кортежей последовательностей и тегов, например: training_data = [ ("They also have a song called \" wake up \"".split(), ["O", "O", "O", "O", "O", "O", "I-MISC", "I-MISC", "I-MISC", "I-MISC"]), ("Major General John C. Scheidt Jr.".split(), ["O", "O", "I-PER", "I-PER", "I-PER"]) ] И я […]

Использование GridSearchCV с помощью AdaBoost и DecisionTreeClassifier

Я пытаюсь настроить классификатор AdaBoost («ABT») с помощью DecisionTreeClassifier («DTC») в качестве базового_источника. Я хотел бы одновременно настраивать оба параметра ABT и DTC, но не знаю, как это сделать – конвейер не должен работать, поскольку я не «прокладываю» вывод DTC на ABT. Идея заключалась бы в итерации гиперпараметров для ABT и DTC в оценке GridSearchCV. […]

Использование scikit-learn NMF с предварительно вычисленным набором базовых векторов (Python)

Я хочу использовать scikit-learn NMF ( отсюда ) (или любой другой NMF, если он действительно выполняет эту работу, на самом деле). В частности, у меня есть входная матрица (которая является спектрограммой звуковой величины), и я хочу ее разложить. У меня уже есть W-матрица, предварительно вычисленная. Как использовать фиксированный W в sklearn.decompose.NMF ? Я не нашел […]

scikit-learn: поиск функций, которые вносят вклад в каждый кластер KMeans

Скажем, у вас есть 10 функций, которые вы используете для создания 3 кластеров. Есть ли способ увидеть уровень вклада, который каждая из функций имеет для каждого из кластеров? То, что я хочу сказать, это то, что для кластера k1 функции 1,4,6 были основными функциями, где основные функции кластера k2 составляли 2,5,7. Это базовая настройка того, […]

 
Interesting Posts for Van-Lav

Используйте fnmatch.filter для фильтрации файлов более чем одним возможным расширением файла

У Python есть неизменный список?

python: как узнать, когда я нахожусь на последнем для цикла

Проблема с python urllib

Извлечь ежеквартальные данные за несколько квартальных периодов

как получить нормальное выполнение инструкции печати при использовании stdout = subprocess.PIPE во время вызова подпроцесса в python

python утверждает, что срабатывает с -O

Применение нескольких функций к нескольким столбцам группы

Запросы Python: недопустимое имя заголовка

Добавление номера 1 в набор не влияет

Как рассчитать количество дней между двумя датами с помощью Python?

Python пишет в файл, возвращает пустой файл

В python, если функция не имеет оператора return, что он возвращает?

PyMySQL не может подключаться к MySQL на localhost

Pandas Тип категориальных данных не ведет себя так, как ожидалось

Python - лучший язык программирования в мире.