Tag: performance

MongoDB Update-Upsert Performance Barrier (производительность падает с обрыва)

Я выполняю повторяющуюся операцию обновления, чтобы добавить документы в мой MongoDB как часть некоторой оценки производительности. Я обнаружил огромную нелинейность во время выполнения, основанную на количестве обновлений (w / upserts), которые я выполняю: Цикл с помощью следующей команды в Python … collection.update({'timestamp': x}, {'$set': {'value1':y, v1 : y/2, v2 : y/4}}, upsert=True) Дает мне эти […]

FTPLib Python слишком медленный?

Я играл с FTP-библиотекой Python и начинаю думать, что он слишком медленный по сравнению с использованием файла сценария в DOS? Я запускаю сеансы, где загружаю тысячи файлов данных (думаю, у меня сейчас более 8 миллионов). Мое замечание состоит в том, что процесс загрузки, по-видимому, занимает в пять-десять раз больше времени на Python, чем в сравнении […]

Оптимизация медленного набора запросов django из большого и растущего набора данных

У меня есть страница, которая загружается слишком медленно. Как-то мне нужно улучшить способ запроса данных (кеширование частичной загрузки / страниц и т. Д.) Заметьте, что я django noob и не совсем обернул голову вокруг model.Manager и models.query.QuerySet так что если эта настройка выглядит неудобно …. В настоящее время страница занимает около 18 секунд, чтобы загрузить […]

BigInts кажутся медленными в Julia

Я действительно впечатлен Джулией, так как он работал быстрее, чем D, в вопросе проекта Euler Project. # 303, если кто-то заинтересован. Что странно, так как медленный BigInts в Джулии кажется. Странно, потому что я читаю их выступление неплохо. Ниже приведена программа Julia для вычисления числа разделов 15k с использованием формулы рецидива Эйлера. function eu78() lim […]

Как оптимизировать добавление новых узлов в `django-mptt`?

Я создаю скрипт, который будет синхронизировать две базы данных. В базе данных есть данные, которые должны храниться как дерево, поэтому я использую django-mptt для нового БД. Когда я синхронизую DB, я выбираю новые данные из старой БД и должен сохранять их в новой. Я хочу знать, есть ли лучший способ добавить новые узлы в дерево? […]

самый быстрый способ поиска ближайшего значения индекса

рассмотрим временные ряды s и индекс tidx tidx = pd.date_range('2010-12-31', periods=3, freq='M') s = pd.Series([0, 31, 59], tidx) Если бы я хотел использовать s в качестве серии поиска и передал дату '2011-02-23' , я бы хотел получить последнее доступное значение. В этом случае это будет 31 . я сделал s.resample('D').ffill().loc['2011-02-23'] 31 Это делает работу, но […]

Эффективно группировать массив по элементу

Допустим, у меня есть lags = [0, 30, 60, 90, 120, 150, 180, np.inf] а также list = [[500, 800, 1000, 200, 1500], [220, 450, 350, 1070, 1780], [900, 450, 1780, 1450, 100], [340, 670, 830, 1370, 1420], [850, 630, 1230, 1670, 910]] angle = [[50, 80, 100, 20, 150], [22, 45, 35, 107, 178], […]

Подпроцесс Python.Popen slow под uWSGI

Я установил сервер разработки под управлением Cherokee на Fedora 14, используя uWSGI для взаимодействия с моим WSGI-приложением. Когда приложение попадает в первый запрос, я запускаю процесс следующим образом: from subprocess import Popen Popen(['bash']) # bash is just an example; the problem happens with all programs Первый запрос длится 10-15 секунд (последующие – менее секунды). Без […]

Преобразование одного int в несколько столбцов bool в пандах

Задний план Я получил кадр данных с целыми числами. Эти целые числа представляют собой ряд функций, которые либо присутствуют, либо не присутствуют в этой строке. Я хочу, чтобы эти функции назывались столбцами в моем кадре данных. проблема Мое текущее решение взрывается в памяти и безумно медленное. Как повысить эффективность памяти? import pandas as pd df […]

Производительность аргументов ключевого слова (python)

Я пытаюсь оптимизировать некоторый код python, посредством тестирования (синхронизации) различных функций с использованием timeit. Я обнаружил, что получаю разные скорости в зависимости от того, является ли переменная аргументом ключевого слова или внутри функции. То есть: def test_function(A = value()): #rest of function…. Возвращает другой результат, чем: def test_function(): A = value() #rest of function … […]

Python - лучший язык программирования в мире.