Удалите строки с повторяющимися индексами (Pandas DataFrame и TimeSeries)

Простое решение – использовать drop_duplicates

 df4 = df3.drop_duplicates(subset='rownum', keep='last') 

Для меня это быстро срабатывало на больших наборах данных.

Для этого требуется, чтобы «rownum» был столбцом с дубликатами. В модифицированном примере «rownum» не имеет дубликатов, поэтому ничего не устраняется. Мы действительно хотим, чтобы «cols» были установлены в индекс. Я не нашел способ сказать drop_duplicates, чтобы рассматривать индекс только.

Вот решение, которое добавляет индекс в качестве столбца dataframe, удаляет дубликаты, а затем удаляет новый столбец:

 df3 = df3.reset_index().drop_duplicates(subset='index', keep='last').set_index('index') 

И если вы хотите, чтобы вещи вернулись в правильном порядке, просто вызовите sort по кадру данных.

 df3 = df3.sort() 

Изменить: лучший ответ ниже

Взгляните на ответ n8yoder, используя «duplicated». Я не считаю, что это существовало в более старых версиях Pandas, где этот ответ все еще может применяться.

Я бы предложил использовать дублированный метод для самого индекса Pandas:

 df3 = df3[~df3.index.duplicated(keep='first')] 

В то время как все остальные методы работают, принятый в настоящее время ответ , безусловно, наименее эффективен для предоставленного примера. Кроме того, в то время как метод groupby только немного менее эффективен, я считаю, что дублированный метод является более читаемым.

Используя предоставленные данные:

 >>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index') 1000 loops, best of 3: 1.54 ms per loop >>> %timeit df3.groupby(df3.index).first() 1000 loops, best of 3: 580 µs per loop >>> %timeit df3[~df3.index.duplicated(keep='first')] 1000 loops, best of 3: 307 µs per loop 

Обратите внимание, что вы можете сохранить последний элемент, изменив аргумент keep.

Следует также отметить, что этот метод также работает с MultiIndex (используя df1, как указано в примере Павла):

 >>> %timeit df1.groupby(level=df1.index.names).last() 1000 loops, best of 3: 771 µs per loop >>> %timeit df1[~df1.index.duplicated(keep='last')] 1000 loops, best of 3: 365 µs per loop 

О, мой. Это на самом деле так просто!

 grouped = df3.groupby(level=0) df4 = grouped.last() df4 AB rownum 2001-01-01 00:00:00 0 0 6 2001-01-01 01:00:00 1 1 7 2001-01-01 02:00:00 2 2 8 2001-01-01 03:00:00 3 3 3 2001-01-01 04:00:00 4 4 4 2001-01-01 05:00:00 5 5 5 

Последующее редактирование 2013-10-29 В случае, когда у меня довольно сложный MultiIndex , я думаю, что предпочитаю groupby подход. Вот простой пример для потомков:

 import numpy as np import pandas # fake index idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')]) # random data + naming the index levels df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB']) df1.index.names = ['iA', 'iB'] # artificially append some duplicate data df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e'])) df1 # colA colB #iA iB #aa -1.297535 0.691787 # b -1.688411 0.404430 # c 0.275806 -0.078871 # d -0.509815 -0.220326 # e -0.066680 0.607233 # c 0.275806 -0.078871 # <--- dup 1 # e -0.066680 0.607233 # <--- dup 2 

и вот важная часть

 # group the data, using df1.index.names tells pandas to look at the entire index groups = df1.groupby(level=df1.index.names) groups.last() # or .first() # colA colB #iA iB #aa -1.297535 0.691787 # b -1.688411 0.404430 # c 0.275806 -0.078871 # d -0.509815 -0.220326 # e -0.066680 0.607233 

К сожалению, я не думаю, что Pandas позволяет отказаться от индексов. Я бы предложил следующее:

 df3 = df3.reset_index() # makes date column part of your data df3.columns = ['timestamp','A','B','rownum'] # set names df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!