Sentence Tokenization in Transformer Code from scratch!
ABOUT ME
⭕ Subscribe: https://www.youtube.com/c/CodeEmporium?sub_confirmation=1
? Medium Blog: https://medium.com/@dataemporium
? Github: https://github.com/ajhalthor
? LinkedIn: https://www.linkedin.com/in/ajay-halthor-477974bb/
RESOURCES
[ 1 ? ] Samanantar: The paper https://paperswithcode.com/paper/samanantar-the-largest-publicly-available
[ 2 ?] Samanantar: Download https://ai4bharat.iitm.ac.in/samanantar
[ 3 ?] Code for video:https://github.com/ajhalthor/Transformer-Neural-Network/blob/main/Sentence_Tokenization.ipynb
PLAYLISTS FROM MY CHANNEL
⭕ Transformers from scratch playlist: https://www.youtube.com/watch?v=QCJQG4DuHT0&list=PLTl9hO2Oobd97qfWC40gOSU8C0iu0m2l4
⭕ ChatGPT Playlist of all other videos: https://youtube.com/playlist?list=PLTl9hO2Oobd9coYT6XsTraTBo4pL1j4HJ
⭕ Transformer Neural Networks: https://youtube.com/playlist?list=PLTl9hO2Oobd_bzXUpzKMKA3liq2kj6LfE
⭕ Convolutional Neural Networks: https://youtube.com/playlist?list=PLTl9hO2Oobd9U0XHz62Lw6EgIMkQpfz74
⭕ The Math You Should Know : https://youtube.com/playlist?list=PLTl9hO2Oobd-_5sGLnbgE8Poer1Xjzz4h
⭕ Probability Theory for Machine Learning: https://youtube.com/playlist?list=PLTl9hO2Oobd9bPcq0fj91Jgk_-h1H_W3V
⭕ Coding Machine Learning: https://youtube.com/playlist?list=PLTl9hO2Oobd82vcsOnvCNzxrZOlrz3RiD
MATH COURSES (7 day free trial)
? Mathematics for Machine Learning: https://imp.i384100.net/MathML
? Calculus: https://imp.i384100.net/Calculus
? Statistics for Data Science: https://imp.i384100.net/AdvancedStatistics
? Bayesian Statistics: https://imp.i384100.net/BayesianStatistics
? Linear Algebra: https://imp.i384100.net/LinearAlgebra
? Probability: https://imp.i384100.net/Probability
OTHER RELATED COURSES (7 day free trial)
? ⭐ Deep Learning Specialization: https://imp.i384100.net/Deep-Learning
? Python for Everybody: https://imp.i384100.net/python
? MLOps Course: https://imp.i384100.net/MLOps
? Natural Language Processing (NLP): https://imp.i384100.net/NLP
? Machine Learning in Production: https://imp.i384100.net/MLProduction
? Data Science Specialization: https://imp.i384100.net/DataScience
? Tensorflow: https://imp.i384100.net/Tensorflow
TIMESTAMP
0:00 Dataset Source
2:39 Alpha Syllabery Explained
5:33 Reading & Processing Sentences
8:43 Pytorch Dataset & TextDataset
10:13 Batching Sentences
12:05 Character to Number Encoding
14:50 Masking
18:15 Creating a Class
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Sentence Tokenization in Transformer Code from scratch!», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.