Tag: memory

упаковка boolean array должна идти через int (numpy 1.8.2)

Я ищу более компактный способ хранения логических данных. numpy внутренне нуждается в 8 бит для хранения одного булева, но np.packbits позволяют их упаковывать, это довольно круто. Проблема состоит в том, что для того, чтобы упаковать в массив размером 4 байта массив байтов длиной 32 байта, необходимо сначала потратить 256 байтов на 256 байтов для преобразования […]

Превышение размера списков в python

Я пытаюсь реализовать сито eratosthenes в python, однако, пытаясь найти все простые числа до корень sqare, например, 779695003923747564589111193840021 Я получаю сообщение об ошибке, когда результат range () имеет слишком много элементов. Мой вопрос: как мне избежать этой проблемы, если я создаю экземпляр списка с циклом while, я получу ошибку, говоря, что я использую слишком много […]

Плохое выделение памяти в Python LinkedList

У меня есть некоторые проблемы в отношении простого связанного списка Python и его потребления памяти. Это код: import sys class Record: def __init__(self,elem): self.elem=elem self.next=None def size(self): print 'elem.size = ', sys.getsizeof(self.elem) print 'next.size = ', sys.getsizeof(self.next) class LinkedList: def __init__(self): self.first=None self.last=None def addAsLast(self,elem): rec=Record(elem) if self.first==None: self.first=self.last=rec else: self.last.next=rec self.last=rec if __name__=="__main__": l=LinkedList() […]

Потребление памяти в Cherrypy

Я использую Cherrypy в веб-службе RESTful, и сервер возвращает XML в результате (lxml используется для создания XML). Некоторые из этих XML довольно велики. Я заметил, что память не освобождается после того, как этот запрос (который возвращает большой XML) был обработан. Итак, я выделил проблему и создал этот очень короткий фиктивный пример: import cherrypy from lxml […]

MemoryError при травлении данных в python

Я пытаюсь сбросить словарь в формат pickle, используя команду «dump», предоставленную в python. Размер файла словаря составляет около 150 мб, но исключение возникает, когда сбрасывается только 115 мб файла. Исключение составляет: Traceback (most recent call last): File "C:\Python27\generate_traffic_pattern.py", line 32, in <module> b.dump_data(way_id_data,'way_id_data.pickle') File "C:\Python27\class_dump_load_data.py", line 8, in dump_data pickle.dump(data,saved_file) File "C:\Python27\lib\pickle.py", line 1370, in […]

Как список Python.remove (value) определяет, какое значение нужно удалить?

Если у меня есть список объектов: l = [a, b, c] Затем я удаляю один из этих объектов: l.remove(a) Как python определяет, какой элемент в списке удалить (под капотом)? Используется ли память? (который вы можете просмотреть с помощью hex(id(a)) )

Питский предел функции * и zip ()

У меня есть код Python, похожий на этот: for lines in zip(*files): # do something где files – это список файлов, каждый file представляет собой список lines и каждая line представляет собой список string s. Поэтому вышеприведенный код должен сначала распаковать files списка, а затем применить функцию zip() , возвращая кортеж с первой строкой каждого […]

Ошибка «из памяти» с механизацией

Я пытался очистить некоторую информацию со страницы сайта за страницей, в основном вот что я сделал: import mechanize MechBrowser = mechanize.Browser() Counter = 0 while Counter < 5000: Response = MechBrowser.open("http://example.com/page" + str(Counter)) Html = Response.read() Response.close() OutputFile = open("Output.txt", "a") OutputFile.write(Html) OutputFile.close() Counter = Counter + 1 Ну, приведенные выше коды закончили тем, что […]

Django: загруженные файлы не собираются с мусором, что вызывает проблемы с памятью

У меня есть представление Django, которое обрабатывает загруженные файлы, а когда оно вызывается многократно, мы всегда сталкиваемся с ошибками памяти. (Мы на Heroku, поэтому мы получаем 512 Мб памяти на каждый веб-дино). Ошибки над памятью показывают, что каждый вызов увеличивает использование памяти по размеру файла, а использование памяти никогда не возвращается. Я думаю, что сервер […]

Немонотонное потребление памяти в словарях Python2

Может ли кто-нибудь объяснить это немонотонное использование памяти словаря в CPython 2.7? >>> import sys >>> sys.getsizeof({}) 280 >>> sys.getsizeof({'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5}) 280 >>> sys.getsizeof({'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5, 'six': 6}) 1048 >>> sys.getsizeof({'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5, […]

Python - лучший язык программирования в мире.