#Python | from tensorflow.keras.preprocessing.text import Tokenizer | #Tokenization #tensorflow смотреть онлайн
RJ Studio’s 101st video shows you tokenization, a technique used to break down text data into tokens (words, characters, n-grams etc) ✨
◕ ◡ ◕
Tokenization is usually the first step taken before vectorizing texts. Texts are often vectorized so that they can be easily used with various Machine Learning algorithms.
For example, Neural Networks need its text data to be tokenized (and vectorized) prior to training procedure. ?
I perform Tokenization functionality provided by tensorflow.keras in this short video.
☆ Video Chapters ☆
0:00 Intro
0:48 Tokenizer()
1:13 texts_to_sequences()
2:06 word_index
3:11 texts_to_matrix()
3:47 Outro
Please check my GitHub for code: https://github.com/rjlee13/RJStudio_GH
Python logo in the thumbnail is from https://www.python.org/community/logos/
The background music is "Rather Be" by Pentatonix ^‿^
Hope my video taught you something new!
And feel free to correct me if I made some mistakes in the comments :)
이번 비디오는 텍스트 토큰화에 대한 영상입니다 ≧◡≦
간단히 설명해서, 토큰화란 텍스트 데이터를 잘게 잘게 쪼개는 과정이라고 생각하시면 됩니다!
유익한 정보이길 바랄게요~ 감사합니다.
“In teaching others, we teach ourselves.”
Instagram: https://www.instagram.com/musicalum_rj/
LinkedIn: https://www.linkedin.com/in/rj-lee/
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «#Python | from tensorflow.keras.preprocessing.text import Tokenizer | #Tokenization #tensorflow» бесплатно и без регистрации, вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.