Настройка гиперпараметров Нейронные сети 101
Основы настройки гиперпараметров нейронных сетей
Как улучшить “обучение” и “тренировку” нейронных сетей путем настройки гиперпараметров
![Значки нейронных сетей, созданные Vectors Tank - Flaticon. Значки нейронных сетей. https://www.flaticon.com/free-icons/neural](https://ai.miximages.com/miro.medium.com/v2/resize:fit:640/format:webp/1*mo0aeGKHM026B3t995i7hg.png)
Предыстория
В предыдущей моей статье мы обсудили, как нейронные сети предсказывают и учатся на основе данных. За это отвечают два процесса: прямой проход и обратный проход, также известные как обратное распространение ошибки. Более подробно об этом можно узнать здесь:
Прямой проход и обратное распространение ошибки: Основы нейронных сетей
Объяснение того, как нейронные сети “обучаются” и “учатся” на основе данных, вручную и с использованием PyTorch
towardsdatascience.com
В этой статье мы рассмотрим, как можно оптимизировать этот процесс “обучения” и “тренировки” для повышения производительности нашей модели. Мы рассмотрим улучшение вычислительных возможностей и настройку гиперпараметров и как это реализовать в PyTorch!
- Параллельное выполнение Python на Spark Варианты конкурентности с Pandas
- Расшифровка рынка рабочих мест в сфере обработки данных на 2023 год указывают ли цифры на насыщение рынка или на возможности?
- «Приближенные предсказания» делают выбор функций радикально быстрее
Но прежде чем приступить к этим интересным вещам, давайте вкратце вспомним о нейронных сетях!
Краткое повторение: Что такое Нейронные сети?
Нейронные сети – это большие математические выражения, которые пытаются найти “правильную” функцию, способную отобразить набор входных данных на соответствующие выходные данные. Пример нейронной сети изображен ниже:
![Базовый персептрон с двумя скрытыми слоями. Диаграмма автора.](https://ai.miximages.com/miro.medium.com/v2/resize:fit:640/format:webp/1*YVjpCZEbxfvdABYzt8RJOA.png)
Каждый нейрон скрытого слоя выполняет следующие вычисления:
![Процесс, осуществляемый внутри каждого нейрона. Диаграмма автора.](https://ai.miximages.com/miro.medium.com/v2/resize:fit:640/format:webp/1*Yh3ScQNja3ix3vezNC7hxA.png)
- Входы: Это особенности нашего набора данных.
- Веса: Коэффициенты, масштабирующие входные данные. Цель алгоритма – найти наиболее оптимальные коэффициенты с помощью градиентного спуска.
- Линейная взвешенная сумма: Сумма произведений входных данных и весов с добавлением смещения/смещения, b.
- Скрытый слой: Здесь хранятся несколько нейронов для изучения закономерностей в наборе данных. Верхний индекс относится к слою, а нижний индекс – к номеру нейрона в этом слое.