AlexNet
AlexNet (англ. AlexNet) — архитектура свёрточной нейронной сети, предложенная канадским исследователем Алексеем Крижевским (англ. Alex Krizhevsky), которая победила в соревновании 2012 года по распознаванию изображений из онлайн-базы ImageNet. Инновационная конфигурация и широкое использование для обучения возможностей аппаратной части на основе графических процессоров позволила сети AlexNet обойти своих ближайших конкурентов со значительным отрывом[1][2].
Краткая информация
Оригинальная архитектура нейронной сети AlexNet включает в себя восемь основных слоёв, из которых пять являются свёрточными. В качестве активаторов были выбраны функции ReLU вместо функций на основе гиперболического тангенса, которые являлись де-факто стандартом в ту эпоху. Замена гиперболических тангенсов на ReLU позволило ускорить обучение сети примерно в шесть раз. Кроме этого, на временных затратах сказалась удачная компоновка AlexNet, которая позволяла запускать обучение сети на нескольких графических картах одновременно. Для избежания эффекта переобучения был задействован целый комплекс средств, одним из основных элементов которого стало расширение данных (англ. data augmentation) с помощью сдвинутых и отзеркаленных изображений[3]. Всего в составе AlexNet для распознавания было задействовано около 60 млн параметров[2] и 650 тысяч нейронов[4].
Примечания
- ↑ Черников, 2023, с. 203,204.
- ↑ 2,0 2,1 Бычков, Киселёва, Маслова, 2023, с. 42.
- ↑ Jerry Wei. AlexNet: The Architecture that Challenged CNNs (англ.). Medium (2 июля 2019). Дата обращения: 13 января 2024.
- ↑ Krizhevsky, Sutskever, Hinton, 2012, Abstract.
Источники
- Бычков, А. Г. Использование свёрточных нейронных сетей для классификации изображений / А. Г. Бычков, Т. В. Киселёва, Е. В. Маслова // Информационные технологии : журн. — 2023. — С. 39–49. — УДК 004.93(G). — doi:10.57070/2304-4497-2023-1(43)-39-49.
- Черников, А. Д. Глубокое обучение и свёрточные нейронные сети в компьютерном зрении. Роль глубокого обучения и свёрточных нейронных сетей в автоматической диагности и мониторинге заболеваний // «Вестник науки» : журн. — 2023. — Т. 66, № 9 (сентябрь). — С. 201–208.
- Krizhevsky, Alex. ImageNet Classification with Deep Convolutional Neural Networks : [англ.] / Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton // Advances in Neural Information Processing Systems 25. — 2012. — P. –. — ISBN 9781627480031.