Использование меньших операций с хранилищем данных в appengine
Я собираю базовый фотоальбом на appengine с помощью python 27. Я написал следующий метод для извлечения данных изображения из хранилища данных, соответствующего конкретному «приключению». Я использую ограничения и смещения для разбивки на страницы, однако это очень неэффективно. После просмотра 5 страниц (из 5 фотографий на страницу) я уже использовал 16% своих небольших операций с хранилищем данных. Интересно, что я использовал только 1% моих операций чтения данных. Как я могу сделать это более эффективным для небольших операций с хранилищем данных – я не уверен, из чего они состоят.
def grab_images(adventure, the_offset=0, the_limit = 10): logging.info("grab_images") the_photos = None the_photos = PhotosModel.all().filter("adventure =", adventure) total_number_of_photos = the_photos.count() all_photos = the_photos.fetch(limit = the_limit, offset = the_offset) total_number_of_pages = total_number_of_photos / the_limit all_photo_keys = [] for photo in all_photos: all_photo_keys.append(str(photo.blob_key.key())) return all_photo_keys, total_number_of_photos, total_number_of_pages - Как добавить изображение (Python)
- Как Python 2.7 сравнивает элементы внутри списка
- Попытка использовать open (имя файла, 'w') дает IOError: Нет такого файла или каталога:
- Каков самый чистый способ добавить каталог сторонних пакетов в начало пути Python?
- Python 3.5 vs Python 2.7: Модули, импортирующие подмодули
- Добавление меток значений на гистограмме matplotlib
- Theano: Инициализация устройства gpu не удалась! Причина = CNMEM_STATUS_OUT_OF_MEMORY
- Pyinstaller не корректирует импорт pycripto ... иногда
- Масштабирование GUI Tkinter в разрешении 4k (3840 * 2160)?
- Извлечение одного текста из ячейки таблицы, содержащей несколько текстов. Robot Framework
- Есть ли причина, по которой Python 3 перечисляет медленнее, чем Python 2?
- Несколько конструкторов в python, используя наследование
- Передать порт через UPnP в Python
3 Solutions collect form web for “Использование меньших операций с хранилищем данных в appengine”
Несколько вещей:
- Вам не нужно каждый раз подсчитывать счет, вы можете кэшировать его
- То же самое относится к запросу, почему вы все время запрашиваете? кешируйте его также.
- Кэшируйте страницы также, вы не должны вычитывать данные на страницу каждый раз.
- Вам нужна только blob_key, но вы загружаете весь объект фотографии, попробуйте моделировать его так, чтобы вам не нужно было загружать все атрибуты Photo.
nitpicking: вам не нужны the_photos = None
Способ обработки пейджинга неэффективен, поскольку он проходит через каждую запись до смещения для доставки данных. Вы должны подумать о создании механизмов подкачки, используя методы закладки, описанные Google http://code.google.com/appengine/articles/paging.html .
Используя этот метод, вы просматриваете только те предметы, которые вам нужны для каждой страницы. Я также настоятельно рекомендую вам правильно кэшировать, как это было предложено Shay, и это быстрее и дешевле.
Возможно, вам стоит подумать о переходе на новый API NDB. Его использование фьючерсов, кэшей и аутсорсинга может помочь вам. Явное лучше, чем неявное, но управление данными NDB делает ваш код более простым и понятным.
BTW, вы пытались использовать appstats и посмотреть, как ваши запросы используют ресурсы сервера?