Асинхронные вставки базы данных – python + mysql
Я делаю утилиту, в которой мне нужно извлечь твиты для пользователя и сохранить их в базе данных. Twitter API отправляет только 20 твитов за один звонок и получает больше твитов, вам нужно прокручивать твиты 20 за раз. Поэтому вместо синхронного чтения твитов из API Twitter и ожидания ввода в БД, я хочу асинхронно запускать вставки базы данных для оптимизации процесса.
Как я могу достичь этого с помощью Python и Mysql?
Псевдокод для этого может быть записан как (не проверен на достоверность синтаксиса): –
def readTweets(): x=0 while true: tweets= twitterAPI.getusertimeline(id='twitterUser',count=20,page=x) #Need to know how to call the below function asynchronously callDBSaveAsynchronously(tweets) if len(tweets) < 20: break x=x+1 def callDBSaveAsynchronously(tweets): for tweet in tweets: mysqldb.insertTweet(tweet) Заранее спасибо!
- Просто не могу заставить MySQL работать с Python / Django
- Красивый суп-webscrape в mysql
- Изящная обработка «MySQL ушел»
- Ошибка Загрузка модуля MySQLdb и "pip install MySQLdb"
- Ошибка инструкции UPDATE - MySQLdb / Python
One Solution collect form web for “Асинхронные вставки базы данных – python + mysql”
Существует сторонний драйвер MySQL под названием ultramysql, который может использовать gevent для асинхронных вставок. Вы могли бы избежать потоков таким образом. Он отлично поработал для меня в недавнем проекте.
- Почему numpy медленнее, чем для цикла
- Как подключиться к базе данных Azure SQL из приложения Django в Linux VM