MySQLdb чрезвычайно медленный с большими наборами результатов
Я выполнил следующий запрос как в phpMyAdmin & MySQLdb (python).
SELECT *, (SELECT CONCAT(`id`, '|', `name`, '|', `image_code`) FROM `model_artist` WHERE `id` = `artist_id`) as artist_data, FIND_IN_SET("metallica", `searchable_words`) as find_0 FROM `model_song` HAVING find_0 phpMyAdmin сказал, что запрос занял 2 мс . Мой код python сказал, что с использованием MySQLdb запрос занимает 848 мс (даже не получая результаты).
- Установите mysql-python (Windows)
- В чем причина ошибки mysqldb Warning: Усеченная неправильная ошибка DOUBLE?
- Python MysqlDB с использованием cursor.rowcount с SSDictCursor, возвращающим неправильный счет
- error: команда 'cc' не удалась с статусом выхода 1 - установка MySQLdb на MAC
- Как создать пул соединений mysql или любой другой способ инициализации нескольких баз данных?
Код python:
self.db = MySQLdb.connect(host="localhost", user="root", passwd="", db="ibeat") self.cur = self.db.cursor() millis = lambda: time.time() * 1000 start_time = millis() self.cur.execute_cmd("""SELECT *, (SELECT CONCAT(`id`, '|', `name`, '|', `image_code`) FROM `model_artist` WHERE `id` = `artist_id`) as artist_data, FIND_IN_SET("metallica", `searchable_words`) as find_0 FROM `model_song` HAVING find_0""") print millis() - start_time
2 Solutions collect form web for “MySQLdb чрезвычайно медленный с большими наборами результатов”
PHPMyAdmin ограничивает все запросы, поэтому вы не возвращаете большие результирующие наборы в интерфейсе. Поэтому, если ваш запрос обычно возвращает 1 000 000 строк, а PHPMyAdmin уменьшает это до 1000 (или что бы то ни было по умолчанию), тогда вам придется ожидать намного большего времени обработки, когда Python захватывает или даже запрашивает весь набор результатов.
Попробуйте установить лимит в Python, который соответствует лимиту на PHPMyAdmin, чтобы сравнить время.
Если вы ожидаете, что SQL-запрос будет иметь большой результирующий набор, который вы затем планируете перебирать по записи за записи, тогда вам может понадобиться использовать MySQLdb SSCursor вместо курсора по умолчанию. Курсор по умолчанию сохраняет результирующий набор в клиенте, тогда как SSCursor сохраняет результирующий набор на сервере. В отличие от курсора по умолчанию, SSCursor не будет подвергаться большой начальной задержке, если все, что вам нужно сделать, – это перебор по записям один за другим.
Вы можете найти несколько примеров кода о том, как использовать SSCursor здесь .
Например, попробуйте:
import MySQLdb.cursors self.db = MySQLdb.connect(host="localhost", user="root", passwd="", db="ibeat", cursorclass = MySQLdb.cursors.SSCursor)
(Остальная часть кода может оставаться прежней.)
- Разделение самопересекающегося многоугольника возвращает только один многоугольник в стиле в Python
- «CSV не существует» – Pandas DataFrame