Smart Batching Tutorial - Speed Up BERT Training! смотреть онлайн
Smart Batching is the combination of two techniques--”Dynamic Padding” and “Uniform Length Batching”. Both have to do with cutting down the number of `[PAD]` tokens we have to add to our text, which results in faster training, and doesn’t seem to hurt accuracy!
I originally learned about these techniques from Michaël Benesty in his excellent blog post here: https://towardsdatascience.com/divide-hugging-face-transformers-training-time-by-2-or-more-21bf7129db9q-21bf7129db9e
======== Code ========
Here’s my Colab Notebook from this video:
https://colab.research.google.com/drive/1Er23iD96x_SzmRG8md1kVggbmz0su_Q5
A few key pieces of my Notebook were taken from the code Michaël shared here:
https://gist.github.com/pommedeterresautee/1a334b665710bec9bb65965f662c94c8
======== More BERT ========
Looking for a deep dive on how BERT works? Check out my new BERT eBook!
https://www.chrismccormick.ai/offers/nstHFTrM
Or get it bundled with all of my BERT-related content (current and planned!) here:
https://www.chrismccormick.ai/offers/cEGFXP2Z
==== Updates ====
Sign up to hear about new content across my blog and channel: https://www.chrismccormick.ai/subscribe
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Smart Batching Tutorial - Speed Up BERT Training!» бесплатно и без регистрации, вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.