Tag: mysql

Обработка данных пользователями

У меня есть веб-приложение Django, которое (потенциально) обрабатывает миллионы записей на пользователя. В двух словах пользователи загружают файлы, которые сопоставляются с полями / таблицами базы данных, и данные в конечном итоге загружаются в одну из 5 таблиц MySQL. Я использую огромную библиотеку DataTables для отображения данных обратно пользователю. Во многих случаях данные будут загружены в […]

Инструкция MySQL в Python: переменные не работают

У меня проблема с MySQL и MySQL MySQL в Python, когда я пытаюсь вставить более одной переменной. У меня есть таблица wordurl с тремя полями. Первый – это идентификатор auto_increment, второй и третий должны содержать значения. Второе и третье поля называются word_id и url_id. Это код. cursor.execute("INSERT INTO wordurl (word_id, url_id) VALUES (%s, %s)", (word_temp_id, […]

Оптимизация пакета Python / MySQL

В настоящее время я пытаюсь определить наилучшие способы выполнения объемного UPDATE в MySQL DB с точки зрения скорости. К сожалению, каждая строка нуждается в отдельном обновлении, и я основываю ее на идентификаторе (автоматически увеличивая) таблицы. Следовательно, требуется одна инструкция UPDATE для каждой строки. Сама таблица составляет около 12 миллионов записей, и мне, вероятно, нужно обновлять […]

сокращение ввода-вывода в приложении и базе данных

Есть ли способ уменьшить ввод / вывод, связанный с mysql или скриптом python? Я думаю об использовании EC2, и затраты кажутся все в порядке, за исключением того, что я не могу предсказать использование I / O, и я беспокоюсь, что это может ослепить меня из-за затрат. Я в основном разрабатываю скрипт python для анализа данных […]

Django + OsX Lion + Mysql с XAMPP

У меня есть следующее на моем MacBook с Osx Lion: Mysql работает с xampp (http://www.apachefriends.org/it/xampp.html) Django 1.3 работает в virtualenv Я установил Mysql-python с помощью pip install MySQL-python но при попытке использовать manage.py syncdb я получаю следующую ошибку: (django_1.3)Daniel-Mac:fz_biblio daniel$ python manage.py syncdb Traceback (most recent call last): File "manage.py", line 14, in <module> execute_manager(settings) […]

Проблема одновременного чтения и записи (отдельные процессы) с использованием MySQL и Python

У меня два параллельных процесса: 1.) Writer – вставляет новые строки в базу данных MySQL на регулярной основе (10-20 строк / сек) 2.) Reader – считывается из той же таблицы, которая вставляется в Я замечаю, что процесс чтения только, кажется, видит моментальный снимок базы данных примерно во время ее запуска. Вставки, возникающие до того, как […]

Попытка группировать подобные текстовые строки в столбце из таблицы с миллионами строк – подходы Open to Non-MySQL

У меня большое количество (около 40 миллионов) записей VARCHAR в таблице MySQL. Длина строки может быть от 580 символов. Я пытаюсь объединить аналогичный текст вместе и подумал о возможном подходе: Возьмите строку и вычислите меру сходства (например, Edit Distance) с каждой другой строкой и решите (я не уверен, как это решить), независимо от того, принадлежит […]

Простой код для записи csv-файла в MySQL db с Python и SqlAlchemy ест слишком много бара. Любая лучшая практика для решения?

У меня есть код, который записывает данные в базу данных, глядя на несколько сотен тысяч строк, что не слишком экстремально, но это приводит к зависанию моего компьютера-разработчика. Код выглядит примерно так. input_reader = csv.reader(open(filename), delimiter=',', quotechar='"') count = 0 for line in input_reader: obj = ObjectToEnter(line[1], line[2]) child_obj = ChildObject(line[5]) #possibly a few children are […]

MySQL консультируется в QProgressBar

Кто-нибудь знает, как я могу показать вам Прогресс вставки данных в базу данных mysql с использованием QSqlDatabase?

отображение одного класса в две таблицы из другой базы данных в SQLAlchemy

Я хочу создать скрипт управления, который много читает из slave-db, безусловно, реплицируется из мастера и иногда записывается в master db. Таблицы, к которым я обращаюсь, одинаковы. один из раба и один от мастера. Поэтому я бы хотел использовать только один класс сопоставления для них обоих. как я могу сопоставить этот класс с двумя таблицами из […]