Tutorial 98 - Deep Learning terminology explained - Kernel (weights) initialization and padding
Code associated with these tutorials can be downloaded from here: https://github.com/bnsreenu/python_for_image_processing_APEER
The essence of deep learning is to find best weights (and biases) for the network that minimizes error (loss).
This is done via an iterative process where weights are updated in each iteration in a direction that minimizes the loss.
But how do we assign the initial weights?
Zero initialization: Setting all initial weights to 0.
This means the derivative of loss function w.r.t. weights will be same for every weight in every iteration
this implies weights will not be updated.
Random weight initialization: Could assign very large or small weights
Large weights: Leads to large values at respective nodes (neurons) and when sigmoid is applied it results values close to 1.
Gradient slopes slowly and learning takes long times.
Small weights: Leads to small values at nodes resulting is similar situation as above.
He et al. (2015) proposed activation aware initialization of weights (for ReLu activation function)
He initialization: Initialize weights randomly but with a variance
Other similar initializers also try to find a good variance for the distribution from which the initial parameters are drawn.
Summary: Use He_Uniform for ReLu activation function
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Tutorial 98 - Deep Learning terminology explained - Kernel (weights) initialization and padding», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.