Stemming Data Preprocessing || Lesson 26 || Machine Learning || Learning Monkey ||
#machinelearning#learningmonkey
In this class, we discuss stemming a data preprocessing technique on text data.
This stemming is applied to text data.
Let's take an example and understand what stemming is.
He is playing it good.
I played tennis.
I play football.
He played well.
From the above four sentences identify the words that are repeated.
He repeated two times.
I repeated 2 times.
Played repeated two times.
When we consider the meaning of the words.
Playing, played, play all these are the same.
All the above words are from the same stem word called play.
Stemming means to convert the words into there base stem word.
How do they do?
Based on the language they identified some conditions on the suffix and prefix of the words.
Here in this example They removing ing form, ed from the words.
But there are some problems with the stemming.
Over stemming
Take example words.
University, universities, universal, universe.
When we applied to stem on these words. all are converted to the same stem word Univers.
Universities and university belongs to one stem word.
Universal and universe belongs to another stem word.
They tried to change the conditions. when they changing the conditions to solve these.
They are getting problems in other situations.
2) Under stemming.
Take example words alumnus and alumni.
Both are from the same stem word. In our stemming model, it takes as different words.
They are different stemming algorithms.
potter stemmer.
snowball stemmer.
Snoball stemmer is the latest class.
Five percent of the problems from the porter stemmer is solved in a snowball stemmer.
We will take each word from the feedback and apply the stemming algorithm on the words and convert words.
Stemming Data Preprocessing used to convert text
Link for ipython notebook: https://www.mediafire.com/file/2rtgljjjvwuwkhd/stemming.ipynb/file
Link for our website: https://learningmonkey.in
Follow us on Facebook @ https://www.facebook.com/learningmonkey
Follow us on Instagram @ https://www.instagram.com/learningmonkey1/
Follow us on Twitter @ https://twitter.com/_learningmonkey
Mail us @ [email protected]
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Stemming Data Preprocessing || Lesson 26 || Machine Learning || Learning Monkey ||», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.