PEGASUS Explained!
This video explains the PEGASUS model and new pre-training objective from researchers at Google AI. PEGASUS shows that there's no free lunch for downstream NLP tasks with respect to the pretraining task. Using this new self-supervised learning task, gap sentences generation, they dramatically surpass the baseline performance, especially in the low resource setting.
Thanks for watching! Please Subscribe!
Links:
PEGASUS (arxiv): https://arxiv.org/abs/1912.08777
PEGASUS (blog post): https://ai.googleblog.com/2020/06/pegasus-state-of-art-model-for.html
Follow Anna Rogers on Twitter!: https://twitter.com/annargrs/status/1270058442523369473
What is ROUGE: http://www.ccs.neu.edu/home/vip/teach/DMcourse/5_topicmodel_summ/notes_slides/What-is-ROUGE.pdf
The Illustrated Transformer: http://jalammar.github.io/illustrated-transformer/
GPT-3: https://arxiv.org/pdf/2005.14165.pdf
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «PEGASUS Explained!», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.