Я пытаюсь установить netCDF4 на OS X с pip install netCDF4 и я получаю следующую ошибку: ———————————————————— /usr/local/bin/pip run on Wed Aug 7 23:02:37 2013 Downloading/unpacking netCDF4 Running setup.py egg_info for package netCDF4 HDF5_DIR environment variable not set, checking some standard locations .. checking /Users/mc … checking /usr/local … checking /sw … checking /opt … […]
Есть ли способ кэшировать файлы python? У меня есть функция, которая берет путь к файлу netCDF как ввод, открывает его, извлекает некоторые данные из файла netCDF и закрывает его. Это называется много раз, и накладные расходы на открытие файла каждый раз высоки. Как я могу сделать это быстрее, возможно, кэшируя дескриптор файла? Возможно, для этого […]
Счастливого Рождества. Я все еще очень новичок в Python и Pandas, поэтому помощь приветствуется. Я пытаюсь прочитать в файле netCDF, который я могу сделать, а затем импортировать в Pandas Dataframe. Файл netcDF – 2D, поэтому я просто хочу «свалить его». Я пробовал метод DataFrame, но он не распознает объект. Предположительно мне нужно преобразовать объект netCDF […]
Я пытаюсь читать срезы данных из файла netcdf4 с помощью netcdf4-python. Это первый раз, когда я использую python, и у меня проблемы с памятью. Ниже приведена упрощенная версия кода. На каждой итерации переходов в памяти цикла читается эквивалент среза данных. Как я могу очистить память, когда я перебираю каждую переменную? #!/usr/bin/env python from netCDF4 import […]
У меня очень большой файл netCDF, который я читаю, используя netCDF4 в python Я не могу прочитать этот файл сразу, так как его размеры (1200 x 720 x 1440) слишком велики для того, чтобы весь файл находился в памяти сразу. Первый размер представляет время, а следующие 2 представляют собой широту и долготу соответственно. import netCDF4 […]
Я пытаюсь работать с данными из очень больших файлов netCDF (~ 400 Gb каждый). Каждый файл имеет несколько переменных, все намного больше, чем системная память (например, 180 ГБ против 32 ГБ ОЗУ). Я пытаюсь использовать numpy и netCDF4-python делать некоторые операции над этими переменными, копируя срез за раз и работая на этом срезе. К сожалению, […]
Я хотел бы уменьшить данные netcdf с 0,5 до 0,25 (или ниже) разрешения, просто создав новые ячейки сетки с более высоким разрешением, которые имеют то же значение, что и более грубая ячейка разрешения. У меня есть foll. код, который отлично подходит для создания более крупного файла разрешения: from mpl_toolkits.basemap import Basemap from netCDF4 import Dataset […]
У меня есть большая папка файлов netCDF (.nc), каждая из которых имеет аналогичное имя. Файлы данных содержат переменные времени, долготы, широты и ежемесячных осадков. Цель состоит в том, чтобы получать среднемесячные осадки за X лет в течение каждого месяца. Поэтому, в конце концов, у меня было бы 12 значений, представляющих среднемесячные осадки за X лет […]
Я получаю foll. userwarning при попытке кэширования результатов с помощью joblib: from tempfile import mkdtemp cachedir = mkdtemp() from joblib import Memory memory = Memory(cachedir=cachedir, verbose=0) @memory.cache def get_nc_var3d(path_nc, var, year): """ Get value from netcdf for variable var for year :param path_nc: :param var: :param year: :return: """ try: hndl_nc = open_or_die(path_nc) val = […]
Я только что установил Anaconda, последнюю версию для Python 2.7. Затем я попытался добавить больше модулей с помощью команды conda, но каждый раз, когда я это делал, я получил сообщение об ошибке, указывающее, что пользователь Binstar с именем netcdf не найден. Для остроумия: James@LAPTOP ~ $ conda install numba Fetching package metadata: ….Error: Could not […]