Совместное использование соединений psycopg2 / libpq через процессы
Согласно документам psycopg2 :
Соединения
libpqне должны использоваться разветвленными процессами , поэтому при использовании модуля, такого какmultiprocessingили метод разворачивания веб-сайтов, например FastCGI, обязательно создавайте соединения после fork.
- psycopg2 не удается выполнить много операторов с синтаксической ошибкой
- Ошибка Postgres SSL SYSCALL: обнаружен EOF с помощью python и psycopg
- Не удается подключиться к psycopg2, но может быть через командную строку
- Как записать данные в Redshift, что является результатом данных, созданных в Python?
- Как настроить базу данных PostgreSQL в Django?
По ссылке из этого документа:
В Unix разворачивание процесса с открытыми соединениями
libpqможет привести к непредсказуемым результатам, поскольку родительский и дочерний процессы используют одни и те же сокеты и ресурсы операционной системы. По этой причине такое использование не рекомендуется, хотя выполнение exec из дочернего процесса для загрузки нового исполняемого файла является безопасным.
Но, похоже, нет никакой проблемы с процессами forking с открытыми сокетами. Итак, в чем причина предупреждения psycopg2 против разветвления при открытии соединений?
Причина моего вопроса заключается в том, что я видел (предположительно успешный) многопроцессорный подход, который открыл соединение прямо перед разветвлением.
Возможно, безопасно открывать открытые соединения при некоторых ограничениях (например, только один процесс фактически использует соединение и т. Д.)?
- безопасно указывая предложение «order by» из пользовательского ввода в python / postgresql / psycopg2
- использовать try / except с psycopg2 или «с закрытием»?
- Проблема для вставки с использованием psycopg
- Форматирование строки Psycopg2 с именами переменных для создания типа
- Установите libpq-dev на Mac OS X
One Solution collect form web for “Совместное использование соединений psycopg2 / libpq через процессы”
Ваш довод в основном правильный: нет проблем с открытием соединения перед вилкой, если вы не пытаетесь использовать его более чем в одном процессе.
При этом, я думаю, вы неправильно поняли ссылку «многопроцессорный подход», которую вы предоставили. Фактически это демонстрирует отдельное соединение, открываемое в каждом дочернем элементе. (Перед распаковкой открывается родительское соединение, но оно не используется ни в одном из дочерних элементов.)
Улучшение, данное ответом там (по сравнению с кодом в вопросе), состояло в том, чтобы рефакторировать так, чтобы – вместо того, чтобы открывать новое соединение для каждой задачи в очереди – каждый дочерний процесс открывал одно соединение, а затем делил его на несколько задач выполненных внутри одного и того же дочернего элемента (т. е. соединение передается в качестве аргумента для процессора задач).
Изменить :
В качестве общей практики следует предпочесть создание соединения в процессе, который его использует. В приведенном ответе в родительском контенте перед форкингом создается соединение, а затем используется в дочернем элементе. Это отлично работает, но оставляет каждое дочернее соединение открытым и в родительском, что в лучшем случае является пустой тратой ресурсов, а также потенциальной причиной ошибок.
- psycopg2: вставить несколько строк с одним запросом
- Передача списка параметров в SQL в psycopg2
- Как вставить список python в таблицу Postgres
- Я пытаюсь установить psycopg2 на Mac OS 10.6.3; он утверждает, что не может найти «stdarg.h», но я вижу, что он там; что мне делать?
- Где можно скачать бинарные яйца с psycopg2 для Windows?
- Python, SQL: задайте столбцы, считанные как параметр
- Создание SQL-операторов с помощью python
- Воспроизведение Postgres COPY непосредственно в Python?
- Django: «Невозможно преобразовать объект« Имя »в str неявно» при сохранении объекта
- Как установить psycopg2 с помощью «pip» на Python?
- Невозможно «COPY FROM» с помощью Postgres & Python
- psycopg: Python.h: Нет такого файла или каталога