Проблема с скупыми kmeans и кластерами kmeans2 в Python

У меня вопрос о kmeans kmeans и kmeans2 . У меня есть набор из 1700 lat-long точек данных. Я хочу пространственно сгруппировать их в 100 кластеров. Однако при использовании kmeans vs kmeans2 я получаю совершенно разные результаты. Можете ли вы объяснить, почему это так? Мой код ниже.

Сначала я загружаю свои данные и строю координаты. Все выглядит правильно.

• Как выполнить экспоненциальную и логарифмическую подгонку кривой в Python? Я нашел только полиномиальную подгонку
• В Python, как я могу экспортировать 3D-изоповерхность в Blender
• Есть поддержка разреженных матриц в Python?
• Альтернативы python griddata
• Решение системы трансцендентных уравнений с питоном

 import pandas as pd, numpy as np, matplotlib.pyplot as plt from scipy.cluster.vq import kmeans, kmeans2, whiten df = pd.read_csv('data.csv') df.head() coordinates = df.as_matrix(columns=['lon', 'lat']) plt.figure(figsize=(10, 6), dpi=100) plt.scatter(coordinates[:,0], coordinates[:,1], c='c', s=100) plt.show() 

Затем я отбеливаю данные и запускаю kmeans() и kmeans2() . Когда я kmeans() центроиды из kmeans() , он выглядит правильно – т.е. примерно 100 точек, которые более или менее представляют местоположения полного набора данных 1700 точек.

 N = len(coordinates) w = whiten(coordinates) k = 100 i = 20 cluster_centroids1, distortion = kmeans(w, k, iter=i) cluster_centroids2, closest_centroids = kmeans2(w, k, iter=i) plt.figure(figsize=(10, 6), dpi=100) plt.scatter(cluster_centroids1[:,0], cluster_centroids1[:,1], c='r', s=100) plt.show() 

Однако, когда я kmeans2() центроиды из kmeans2() , для меня это выглядит совершенно неудобно. Я ожидал бы, что результаты от kmeans и kmeans2 будут довольно похожи, но они совершенно разные. В то время как результат kmeans , кажется, просто пока представляет полный набор данных, результат kmeans2 выглядит почти случайным.

 plt.figure(figsize=(10, 6), dpi=100) plt.scatter(cluster_centroids2[:,0], cluster_centroids2[:,1], c='r', s=100) plt.show() 

Вот мои значения для k и N, а также размеры массивов, полученных в результате kmeans() и kmeans2() :

 print 'k =', k print 'N =', N print len(cluster_centroids1) print len(cluster_centroids2) print len(closest_centroids) print len(np.unique(closest_centroids)) 

Вывод:

 k = 100 N = 1759 96 100 1759 17 

• Почему len(cluster_centroids1) не будет равно k ?
• len(closest_centroids) равно N , что кажется правильным. Но почему len(np.unique(closest_centroids)) не будет равно k ?
• len(cluster_centroids2) равно k , но, опять же, при построении графика cluster_centroids2 , похоже, не представляет исходный набор данных, как это делает cluster_centroids1 .

Наконец, я рисую свой полный набор данных координат, окрашенный кластером.

 plt.figure(figsize=(10, 6), dpi=100) plt.scatter(coordinates[:,0], coordinates[:,1], c=closest_centroids, s=100) plt.show() 

Вы можете видеть это здесь:

• Потребление памяти функции NumPy для стандартного отклонения
• случайная переменная из перекошенного распределения с scipy
• встроенная функция python для уменьшения матрицы
• Scipy Normaltest, как он используется?
• Не удалось импортировать подмодули из scipy в AWS Lambda