Tag: производительность

Накладные расходы CPLEX Python API?

Обновить Этот вопрос был тщательно обсужден и обновлен на OR exchange , где я перекрестил его. Оригинальный вопрос Когда я запускаю CPLEX 12.5.0.0 из командной строки: cplex -f my_instance.lp оптимальное целочисленное решение найдено в 19056.99 тиков. Но через API Python в том же экземпляре: import cplex problem = cplex.Cplex("my_instance.lp") problem.solve() требуемое время составляет 97407,10 тика […]

Самый быстрый способ извлечь только определенные поля из разделенной запятой строки в Python

Скажем, у меня есть строка, содержащая данные из базы данных или таблицы в формате, разделенном запятыми. Например: data = "hello,how,are,you,232.3354,good morning" Предположим, что в этих «записях» возможно 200 полей. Мне интересно смотреть только на определенные области этой записи. Каков самый быстрый способ в Python добраться до них? Самый простой способ – это что-то вроде: fields […]

Наиболее эффективный расчет ньютоновских сил в numpy / scipy

Для обучения в университете нам пришлось внедрить интегратор Leapfrog с точными ньютоновскими силами в Python. Курс окончен, и наши решения были более чем достаточно хорошими, но я задавался вопросом, можно ли еще улучшить производительность вычисления силы. Узким местом является вычисление всех сил (ака ускорений): для большого (1000 и более) числа частиц N (i, j <N). […]

Почему использование многопроцессорности с применением панд приводит к такому резкому ускорению?

Предположим, у меня есть фрейм данных pandas и функция, которую я хотел бы применить к каждой строке. Я могу вызвать df.apply(apply_fn, axis=1) , который должен занимать время линейное по размеру df . Или я могу разделить df и использовать pool.map для вызова моей функции на каждую часть, а затем объединить результаты. Я ожидал, что коэффициент […]

Преимущества mmap vs fileinput

Я читал, что mmap выгоднее, чем fileinput, потому что он прочитает страницу в pagecache ядра и поделится страницей в адресном пространстве пользователя. Принимая во внимание, что fileinput фактически выводит страницу в ядро ​​и копирует строку в адресное пространство пользователя. Таким образом, это лишнее пространство с файловым подключением. Итак, я планирую перейти к mmap, но я […]

Python: Лучшая реализация словаря

У меня мало скриптов python, где я храню 5-10 миллионов пар символов в ключевом словаре, и я запрашиваю этот словарь примерно в 5-10 миллионов раз. Я заметил, что python dict работает не очень хорошо. Есть ли другая реализация, наиболее подходящая для строковых ключей. Редактировать: У меня есть два больших списка имен людей, и я хочу […]

Скорость конкатенации строки Python

Я тестирую скорость различных методов конкатенации скорости, объединяя строковое представление от 1 до большого числа (в моем случае 20000000). Три метода, которые я тестирую: import cProfile count = 20000000 def profileWrapper(f): def wrapper(*args, **argv): pr = cProfile.Profile() pr.enable() string = f(*args, **argv) pr.create_stats() pr.print_stats() return string return wrapper @profileWrapper def naiveConcat(): global count string = […]

Совместное использование большого объекта между различными процессами в Python 3.4

Я пытаюсь передать большой объект (~ 2 ГБ) между различными процессами в Python, чтобы сократить использование памяти. Я узнал о классе и прокси-менеджерах в многопроцессорной библиотеке ( https://docs.python.org/3.4/library/multiprocessing.html#multiprocessing-managers ). Однако, согласно документации и другим пользователям Stackoverflow, это может быть очень медленным, когда оно используется на больших объектах, подобных этому. Правильно ли это, и если да, […]

каковы преимущества стоимости / производительности использования «golang» в GAE

Что касается пределов квот / использования на один экземпляр, есть ли значительное улучшение / преимущество при использовании golang в Google appengine GAE вместо другого предлагаемого языка, который работает в GAE, например, python, java, php или все они ведут себя одинаково? Или, в принципе, любой экземпляр, независимо от используемого языка, ведет себя одинаково и может обрабатывать […]

Битовый вектор и список значений логических значений

Я пытаюсь воспроизвести в Python два примера (изначально написанных на Java), которые я нашел в книге. Две функции проверяют, содержит ли строка повторяющиеся символы. Первая функция использует целое число ( checker ) в качестве битового вектора, а вторая функция просто использует список булевых. Я ожидал получить лучшую производительность, используя функцию с битами, но на самом […]

 
Interesting Posts for Van-Lav

Файлы wav для Python Scipy FFT

Приближение многоугольника с кругом

Как запустить несколько других скриптов python вместе и отправить их аргументы?

Являются ли перечисления синтаксического сахара для `list (generator expression)` в Python 3?

Где код «из __future__ import braces»?

Параллелизировать вложенные петли в IPython

Неустранимая ошибка Python и `BufferedWriter`

pandas – получить последнее значение определенного столбца, проиндексированного другим столбцом (получить максимальное значение конкретного столбца, проиндексированного другим столбцом)

Повторная выборка python pandas

python re invalid group reference \ 10 \ 2

Как получить отправленные списки изменений за один день с помощью Perforce Python API

установить python и сделать в cygwin

Как разрезать 2D-массив Python? Сбой с: «TypeError: индексы списка должны быть целыми, а не кортежем»

Доступ IMAP к почтовому ящику Gmail с помощью XOAUTH

Как указать тип возвращаемого типа с нулевым типом с подсказками типа

Python - лучший язык программирования в мире.