Tag: mysql

Загрузка таблицы mysql в python занимает очень много времени по сравнению с R

У меня довольно большая таблица mysql, около 30M строк, 6 столбцов, около 2gb при загрузке в память. Я работаю как с python, так и с R. В R я могу загрузить таблицу в память, и она занимает около 90 секунд. Но в python это занимает 40 минут. Я пробовал это как с sqlalchemy, так и […]

Django / MySQL-python – отключено подключение с использованием старого (pre-4.1.1) протокола аутентификации (включена опция «secure_auth» клиента)

Так много людей испытали эту проблему на SO, но почти все ответы бесполезны. Traceback (most recent call last): File "/venv/local/lib/python2.7/site-packages/django/core/management/commands/runserver.py", line 91, in inner_run self.validate(display_num_errors=True) File "/venv/local/lib/python2.7/site-packages/django/core/management/base.py", line 266, in validate num_errors = get_validation_errors(s, app) File "/venv/local/lib/python2.7/site-packages/django/core/management/validation.py", line 103, in get_validation_errors connection.validation.validate_field(e, opts, f) File "/venv/local/lib/python2.7/site-packages/django/db/ backends/mysql/validation.py", line 14, in validate_field db_version = self.connection.get_server_version() File […]

PyMySQL в Flask / Apache иногда возвращает пустой результат

У меня есть приложение Flask, которое выполняется в Apache, которое опирается на PyMySQL. Приложение предоставляет ряд команд REST. Он работает под Python 3. Без обеспечения всего источника программа структурирована как: #!flask/bin/python import json import pymysql from flask import * # Used to hopefully share the connection if the process isn't restarted mysql_connection = None # […]

Непрерывные агрегаты по большим наборам данных

Я пытаюсь придумать алгоритм для решения этой проблемы. Это не проблема HW, но для стороннего проекта, над которым я работаю. Существует таблица A, которая имеет порядка (порядка) 10 ^ 5 строк и добавляет новые порядка 10 ^ 2 каждый день. Таблица B имеет порядок 10 ^ 6 рядов и добавляет новые на 10 ^ 3 […]

Можно ли объявлять отношения после создания класса automap в SqlAlchemy

Я новичок в sqlalchemy. Я следил за учебником, чтобы создать automap существующего db с отношением из mysql db from sqlalchemy import create_engine, MetaData, Column, Table, ForeignKey from sqlalchemy.ext.automap import automap_base, generate_relationship from sqlalchemy.orm import relationship, backref from config import constr, mytables def _gen_relationship(base, direction, return_fn, attrname, local_cls, refferred_cls, **kw): return generate_relationship(base, direction, return_fn, attrname, local_cls, […]

Django ORM, Вставить Нет datetime как 0 в MySQL

У меня есть база данных MySQL, которая используется другим приложением помимо Django. Это приложение использует '0000-00-00 00:00:00' как значение по умолчанию для datetimes. Django (v1.5.5) интерпретирует '0000-00-00 00:00:00' datetime как None при чтении базы данных и None как NULL при записи в базу данных. Это вызывает ошибку, так как база данных определяет это поле как […]

Соединитель MySQL python 35 Ресурс временно недоступен с большими запросами?

Я пытаюсь использовать соединитель MySQL в качестве альтернативы pymysql, поскольку он поддерживает несколько операторов в одном запросе для некоторых обновлений, которые мне нужно сделать ( вот мой другой вопрос, связанный с этим ), однако он не подходит для моего другого варианта использования отправки по очень большие выборки. У меня есть динамически сгенерированный оператор Select, который […]

Создание отдельного подключения к базе данных для каждого работника сельдерея

Я продолжаю сталкиваться с проблемами mysql, в то время как рабочие выполняют задачи сразу после создания. Мы используем django 1.3, сельдерей 3.1.17, djorm-ext-pool 0.5 Мы начинаем процесс сельдерея с параллелизмом. До сих пор я наблюдал, что, когда начинается процесс работы, все они получают ту же связь mysql. Мы регистрируем идентификатор соединения db, как показано ниже. […]

Как распиливать словарь python в MySQL?

Я просмотрел несколько SO-Вопросов о том, как распиливать объект python и хранить его в базе данных. Собранная мной информация: import pickle или import cpickle . Импортируйте последнее, если производительность является проблемой. Предположим, что dict – это словарь python (или какой-либо объект python): pickled = pickle.dumps(dict) . магазин, pickled в колонку BLOB MySQL, используя тот самый […]

UnicodeDecodeError Загрузка с помощью sqlalchemy

Я запрашиваю базу данных MySQL с sqlalchemy и получаю следующую ошибку: UnicodeDecodeError: 'utf8' codec can't decode bytes in position 498-499: unexpected end of data Столбец в таблице был определен как Unicode(500) поэтому эта ошибка подсказывает мне, что есть запись, которая была усечена, потому что она была длиннее 500 символов. Есть ли способ справиться с этой […]

 
Interesting Posts for Van-Lav

Python: как выполнить поиск в системном режиме для файла, когда доступно только имя файла (а не путь)

Как получить имя класса python в виде строки?

Добавление нескольких адресов электронной почты получателя и имени в EmailMultiAlternatives

Работа с значениями NaN в matplotlib

Python NumPy: как заполнить матрицу, используя уравнение

Как получить результаты от вложенной функции генератора Python?

Инициализация матрицы numpy для чего-то другого, кроме нуля или одного

python urllib2: сброс соединения с помощью одноранговой сети

itertools не распознает numpy int как действительные входы на Python 3.6

Ошибка при использовании функции <файл> .readlines ()

OpenCV TypeError: контур не является массивом numpy, ни скалярным

Пользовательский QAbstractItemDelegate с регулярным выражением для QSqlTableModel

Самый быстрый способ извлечь словарь сумм в numpy в 1 проход I / O

Что такое синтаксис для вставки одного списка в другой список в python?

Переименовать Pandas DataFrame Index

Python - лучший язык программирования в мире.