Применение условий в столбцах Pandas DataFrame перед чтением файлов csv или tsv

Можно ли установить условия (фильтры) для столбцов DataFrame перед чтением файлов csv или tsv? Если я уже знаю имена и типы столбцов? Если да, то как?

Например: рассмотрим два числовых столбца (col1 и col2) в очень большом файле. Я не хочу загружать весь файл в память и выбирать только те строки, где col1 больше, чем col2. Поэтому, во-первых, я хочу установить условие на фреймворке данных, чтобы он считывал только те строки из файла csv, где col1 больше, чем col2. Надеюсь, мое объяснение имеет смысл.

благодаря

One Solution collect form web for “Применение условий в столбцах Pandas DataFrame перед чтением файлов csv или tsv”

Вы можете использовать Blaze для этого, что является удобным инструментом для создания pandas .

Предположим, что входной файл:

 a,b 1,2 3,4 5,3 3,6 6,1 

Затем мы открываем файл и запрашиваем данные – обратите внимание, что запрос не выполняется, пока вы не попытаетесь материализовать / получить доступ к нему:

 import blaze import pandas as pd csv_data = blaze.Data('input.csv') query = csv_data[csv_data['a'] > csv_data['b']] df = pd.DataFrame.from_records(query, columns=query.fields) 

Это затем дает df как:

  ab 0 5 3 1 6 1 
  • окрашивающие клетки в excel с пандами
  • Группировка ежедневных данных по месяцам в python / pandas, а затем нормализация
  • Создание фрейма данных pandas из словаря
  • Объединить и обновить фреймы данных на основе подмножества их столбцов
  • Запретить pandas автоматически вывести тип в read_csv
  • Получите максимум значений_числений после groupby
  • numpy - обновлять значения с помощью среза, учитывая значение массива
  • Pandas все еще получает SettingWithCopyWarning даже после использования .loc
  • как установить значения в строки столбца с логической фильтрацией данных
  • Преобразование каждого сгруппированного столбца в объект DataFrameGroupBy в список
  • Результат python pandas groupby ()
  •  
    Interesting Posts for Van-Lav
    Python - лучший язык программирования в мире.