Запуск SVM быстрее в python

Если вы хотите как можно больше придерживаться SVC и тренироваться по полному набору данных, вы можете использовать ансамбли SVC, которые обучаются на подмножествах данных, чтобы уменьшить количество записей в классификаторе (что, по-видимому, оказывает квадратичное влияние на сложность). Scikit поддерживает это с BaggingClassifier обертки BaggingClassifier . Это должно дать вам аналогичную (если не лучшую) точность по сравнению с одним классификатором с гораздо меньшим временем обучения. Обучение отдельных классификаторов также можно запускать параллельно, используя параметр n_jobs .

В качестве альтернативы, я бы также рассмотрел использование классификатора Random Forest – он поддерживает классификацию нескольких классов изначально, он быстрый и дает довольно хорошие оценки вероятности, когда min_samples_leaf устанавливается соответствующим образом.

Я провел быстрые тесты по набору данных диафрагмы, взорванному 100 раз с помощью ансамбля из 10 SVC, каждый из которых тренировался на 10% данных. Это более чем в 10 раз быстрее, чем один классификатор. Это номера, которые я получил на своем ноутбуке:

Одноместный SVC: 45 секунд

Ансамбль SVC: 3s

Случайный лесной классификатор: 0.5s

Ниже приведен код, который я использовал для создания чисел:

 import time import numpy as np from sklearn.ensemble import BaggingClassifier, RandomForestClassifier from sklearn import datasets from sklearn.multiclass import OneVsRestClassifier from sklearn.svm import SVC iris = datasets.load_iris() X, y = iris.data, iris.target X = np.repeat(X, 100, axis=0) y = np.repeat(y, 100, axis=0) start = time.time() clf = OneVsRestClassifier(SVC(kernel='linear', probability=True, class_weight='auto')) clf.fit(X, y) end = time.time() print "Single SVC", end - start, clf.score(X,y) proba = clf.predict_proba(X) n_estimators = 10 start = time.time() clf = OneVsRestClassifier(BaggingClassifier(SVC(kernel='linear', probability=True, class_weight='auto'), max_samples=1.0 / n_estimators, n_estimators=n_estimators)) clf.fit(X, y) end = time.time() print "Bagging SVC", end - start, clf.score(X,y) proba = clf.predict_proba(X) start = time.time() clf = RandomForestClassifier(min_samples_leaf=20) clf.fit(X, y) end = time.time() print "Random Forest", end - start, clf.score(X,y) proba = clf.predict_proba(X) 

Если вы хотите, чтобы каждая запись использовалась только один раз для обучения в BaggingClassifier , вы можете установить для параметра bootstrap значение False.

Классификаторы SVM не масштабируются так легко. Из документов, о сложности sklearn.svm.SVC .

Сложная временная сложность более чем квадратична с количеством выборок, что затрудняет масштабирование до набора данных с более чем несколькими 10000 образцами.

В scikit-learn у вас есть svm.linearSVC который может масштабироваться лучше. По-видимому, он сможет обрабатывать ваши данные.

В качестве альтернативы вы можете просто пойти с другим классификатором. Если вы хотите оценки вероятности, я бы предложил логистическую регрессию. Логистическая регрессия также имеет то преимущество, что не нужна калибровка вероятности для вывода «правильных» вероятностей.

Редактировать:

Я не знал о сложности linearSVC , наконец, нашел информацию в руководстве пользователя :

Также обратите внимание, что для линейного случая алгоритм, используемый в LinearSVC с помощью liblinear-реализации, намного эффективнее, чем его SVC-совместимость на основе libsvm и может масштабироваться почти линейно до миллионов образцов и / или функций.

Чтобы получить вероятность из linearSVC проверьте эту ссылку . Это всего лишь пара ссылок от руководства по калибровке вероятности I, связанного выше, и содержит способ оценки вероятностей. А именно:

  prob_pos = clf.decision_function(X_test) prob_pos = (prob_pos - prob_pos.min()) / (prob_pos.max() - prob_pos.min()) 

Обратите внимание, что оценки, вероятно, будут плохими без калибровки, как показано в ссылке.

Он был кратко упомянут в верхнем ответе; вот код: Самый быстрый способ сделать это – через параметр n_jobs : заменить строку

 clf = OneVsRestClassifier(SVC(kernel='linear', probability=True, class_weight='auto')) 

с

 clf = OneVsRestClassifier(SVC(kernel='linear', probability=True, class_weight='auto'), n_jobs=-1) 

Это будет использовать все доступные процессоры на вашем компьютере, при этом все еще выполняйте те же вычисления, что и раньше.

Вы можете использовать модуль kernel_approximation для масштабирования SVM до большого количества таких образцов.