Применение условий в столбцах Pandas DataFrame перед чтением файлов csv или tsv

Можно ли установить условия (фильтры) для столбцов DataFrame перед чтением файлов csv или tsv? Если я уже знаю имена и типы столбцов? Если да, то как?

Например: рассмотрим два числовых столбца (col1 и col2) в очень большом файле. Я не хочу загружать весь файл в память и выбирать только те строки, где col1 больше, чем col2. Поэтому, во-первых, я хочу установить условие на фреймворке данных, чтобы он считывал только те строки из файла csv, где col1 больше, чем col2. Надеюсь, мое объяснение имеет смысл.

благодаря

One Solution collect form web for “Применение условий в столбцах Pandas DataFrame перед чтением файлов csv или tsv”

Вы можете использовать Blaze для этого, что является удобным инструментом для создания pandas .

Предположим, что входной файл:

 a,b 1,2 3,4 5,3 3,6 6,1 

Затем мы открываем файл и запрашиваем данные – обратите внимание, что запрос не выполняется, пока вы не попытаетесь материализовать / получить доступ к нему:

 import blaze import pandas as pd csv_data = blaze.Data('input.csv') query = csv_data[csv_data['a'] > csv_data['b']] df = pd.DataFrame.from_records(query, columns=query.fields) 

Это затем дает df как:

  ab 0 5 3 1 6 1 
  • Помещение множества фреймов данных pandon pandas на один рабочий лист excel
  • python pandas - разделительный столбец другим столбцом
  • Слияние и вычитание столбцов DataFrame в пандах?
  • словарь python для pandas dataframe с несколькими столбцами
  • Как удалить «секунды» индекса данных DataSphere Pandas?
  • Как преобразовать список фреймов данных в панель в python-pandas?
  • Извлеките веб-службу SAS Stored Process в Python и сохраните ее в кадре данных
  • Как я могу изменить конкретную метку строки в кадре данных Pandas?
  • Python - лучший язык программирования в мире.