использование pandas read_csv с отсутствующими данными

Попробуй это:

 import pandas as pd import numpy as np import io datfile = io.StringIO(u"12 23 43| | 37| 12.23| 71.3\n12 23 55|X| | | 72.3") names = ['id', 'flag', 'number', 'data', 'data2'] dtypes = [np.str, np.str, np.str, np.float, np.float] dform = {name: dtypes[ind] for ind, name in enumerate(names)} colconverters = {0: lambda s: s.strip(), 1: lambda s: s.strip()} df = pd.read_table(datfile, sep='|', dtype=dform, converters=colconverters, header=None, na_values=' ') df.columns = names 

Изменить: конвертировать dtypes post import.

 df["number"] = df["data"].astype('int') df["data"] = df["data"].astype('float') 

Ваши данные смешиваются с пробелами как str и номерами.

 <class 'pandas.core.frame.DataFrame'> RangeIndex: 2 entries, 0 to 1 Data columns (total 5 columns): id 2 non-null object flag 2 non-null object number 2 non-null object data 2 non-null object data2 2 non-null float64 dtypes: float64(1), object(4) memory usage: 152.0+ bytes 

Если вы посмотрите на data то это np.float но преобразуется в объект, а data2 – np.float до пустого, тогда он также превратится в объект.

Итак, как отметил Мерлин, основная проблема заключается в том, что nan не может быть ints, и, вероятно, поэтому панды действуют таким образом, чтобы начать. У меня, к сожалению, не было выбора, поэтому мне пришлось внести некоторые изменения в исходный код pandas. Мне пришлось изменить строки 1087-1096 файла parser.pyx на

  na_count_old = na_count print(col_res) for ind, row in enumerate(col_res): k = kh_get_str(na_hashset, row.strip().encode()) if k != na_hashset.n_buckets: col_res[ind] = np.nan na_count += 1 else: col_res[ind] = np.array(col_res[ind]).astype(col_dtype).item(0) if na_count_old==na_count: # float -> int conversions can fail the above # even with no nans col_res_orig = col_res col_res = col_res.astype(col_dtype) if (col_res != col_res_orig).any(): raise ValueError("cannot safely convert passed user dtype of " "{col_dtype} for {col_res} dtyped data in " "column {column}".format(col_dtype=col_dtype, col_res=col_res_orig.dtype.name, column=i)) 

который, по существу, проходит через каждый элемент столбца, проверяет, содержится ли каждый элемент в списке na (обратите внимание, что мы должны разбить материал, чтобы многопользовательские пространства отображались как находящиеся в списке na). Если это то, то этот элемент задается как double np.nan . Если он не находится в списке na, он переводится в исходный dtype, указанный для этого столбца (это означает, что столбец будет иметь несколько типов dtypes).

Хотя это не идеальное решение (и, скорее всего, оно медленное), оно работает для моих нужд, и, возможно, кто-то другой, у кого есть аналогичная проблема, найдет его полезным.