Comments 2
Вообще-то точность сети LeNet (которой уже 25 лет) на задаче MNIST - 99.05%. Заменой функций активации и изменением метода обучения ее можно разогнать до 99.30%, а добавлением пары сверточных слоев - до 99.53%. И все это менее чем в 300 тыс. свободных коэффициентов, вместо вашего 1млн. Сеть NiN на этой задаче (400тыс.коэффициентов) дает точность 99.57%. Если как следует пошаманить и подключить аугментации, ансамблевые методы и расширить датасет - точность можно догнать до 99.82%.
А у вас свободных параметров порядка миллиона и такой слабенький результат - 98.6%. Вы просто не так эту задачу решаете, как мне кажется - есть и более простые и эффективные методы повышения точности.
Спасибо за комментарий и ссылки )
Целью статьи не является достижение высочайшей точности FNN c одним скрытым слоем для распознавания изображений набора MNIST.
Понятно, что многослойные и предобученные CNN, а также ансамбли и расширение датсета дают более высокую точность для распознавания изображений.
Цель статьи - анализ влияния на точность изменений количества нейронов скрытого слоя и размеров батча. То есть в какой мере на точность влияют изменения количества нейронов скрытого слоя и размеров батча, а в какой видимое изменение точности является просто следствием разброса, вызванного рандомностью инициации весов и рандомностью каждого батча.
Анализ подбора гиперпараметров при обучении нейронной сети прямого распространения — FNN (на примере MNIST). Часть 2