Ошибка BigQuery для большого файла
Я пытаюсь загрузить json-файл в GoogleBigquery, используя скрипт на https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/bigquery/api/load_data_by_post.py с очень небольшим изменением. я добавил
,chunksize=10*1024*1024, resumable=True)) к MediaFileUpload .
- Python - Как экспортировать JSON в JS
- Почему json.loads на порядок быстрее, чем ast.literal_eval?
- несколько объектов Json в одном файле извлечения python
- django rest framework много для многих json write
- Как вернуть объект json в конечных точках Google
Скрипт отлично работает для образца файла с несколькими миллионами записей. Фактический файл составляет около 140 ГБ с примерно 200 000 000 записей. insert_request.execute () всегда терпит неудачу с
socket.error: `[Errno 32] Broken pipe`
через полчаса или около того. Как это можно зафиксировать? Каждая строка меньше 1 КБ, поэтому она не должна быть проблемой квоты.
- Обработка ошибок в Python с помощью JSON и словаря
- Преобразование строки даты JSON в дату и время Python
- Как отправить запрос POST как JSON?
- Результаты двойного счета Postgres + Sqlalchemy
- Python распаковывает данные gzip в память без файла
One Solution collect form web for “Ошибка BigQuery для большого файла”
При обработке больших файлов не используются потоковые передачи, а пакетная загрузка: потоковая передача будет легко обрабатывать до 100 000 строк в секунду. Это очень хорошо для потоковой передачи, но не для загрузки больших файлов.
Образец кода, связанный с этим, делает правильную вещь (пакет вместо потоковой передачи), поэтому мы видим другую проблему: этот примерный код пытается загрузить все эти данные прямо в BigQuery, но загрузка через POST-часть не удалась.
Решение. Вместо того, чтобы загружать большие куски данных через POST, сначала выполните их в Google Cloud Storage, а затем скажите BigQuery прочитать файлы из GCS.
Обновление : беседуя с командой инженеров, POST должен работать, если вы попробуете меньший chunksize .
- python: json.dumps не может обрабатывать utf-8?
- Python: обрабатывать JSON Decode Error, когда ничего не возвращается
- Как разобрать json-файл из context_data с html в django
- Представить дерево каталогов как JSON
- django-rest-framework: как мне сериализовать поле, которое уже содержит JSON?
- Django Rest Framework POST вложенные объекты
- анализировать значения JSON многоуровневыми ключами
- Python: преобразовать список словарей python в массив объектов JSON
- Почему перед каждой строкой моего вывода есть «u»?
- В чем разница между json.dumps и json.load?
- SQLAlchemy: Знание имен полей и значений объекта модели?
- Как преобразовать строку json в словарь и сохранить порядок в ключах?