Настройка гиперпараметров Нейронные сети 101
Основы настройки гиперпараметров нейронных сетей
Как улучшить “обучение” и “тренировку” нейронных сетей путем настройки гиперпараметров
Предыстория
В предыдущей моей статье мы обсудили, как нейронные сети предсказывают и учатся на основе данных. За это отвечают два процесса: прямой проход и обратный проход, также известные как обратное распространение ошибки. Более подробно об этом можно узнать здесь:
Прямой проход и обратное распространение ошибки: Основы нейронных сетей
Объяснение того, как нейронные сети “обучаются” и “учатся” на основе данных, вручную и с использованием PyTorch
towardsdatascience.com
В этой статье мы рассмотрим, как можно оптимизировать этот процесс “обучения” и “тренировки” для повышения производительности нашей модели. Мы рассмотрим улучшение вычислительных возможностей и настройку гиперпараметров и как это реализовать в PyTorch!
- Параллельное выполнение Python на Spark Варианты конкурентности с Pandas
- Расшифровка рынка рабочих мест в сфере обработки данных на 2023 год указывают ли цифры на насыщение рынка или на возможности?
- «Приближенные предсказания» делают выбор функций радикально быстрее
Но прежде чем приступить к этим интересным вещам, давайте вкратце вспомним о нейронных сетях!
Краткое повторение: Что такое Нейронные сети?
Нейронные сети – это большие математические выражения, которые пытаются найти “правильную” функцию, способную отобразить набор входных данных на соответствующие выходные данные. Пример нейронной сети изображен ниже:
Каждый нейрон скрытого слоя выполняет следующие вычисления:
- Входы: Это особенности нашего набора данных.
- Веса: Коэффициенты, масштабирующие входные данные. Цель алгоритма – найти наиболее оптимальные коэффициенты с помощью градиентного спуска.
- Линейная взвешенная сумма: Сумма произведений входных данных и весов с добавлением смещения/смещения, b.
- Скрытый слой: Здесь хранятся несколько нейронов для изучения закономерностей в наборе данных. Верхний индекс относится к слою, а нижний индекс – к номеру нейрона в этом слое.
