tokenization in Java (with AIF)
In the video i'm going to show how naive tokenization can be done in Java with AIF. But more important we will learn how AIF actually executes tokenization itself, as well as we will discuss the outstanding tasks in the tokenization modules. So, after watching the video you will be able to start sending your commits to the AIF project starting today!
* AIF repo: https://github.com/b0noI/AIF2
* Branch with the code from the video: https://github.com/b0noI/AIF2/tree/nlp-course-m1e1-tokenization
* AIF issue tracker: https://github.com/b0noI/AIF2/issues
* Issues about the tokenization modules:
* https://github.com/b0noI/AIF2/issues/254 (Revisit default list of token separators (in PredefinedTokenSeparatorExtractor))
* https://github.com/b0noI/AIF2/issues/252 (TokenSplitter should be renamed to Tokenizer)
* https://github.com/b0noI/AIF2/issues/251 (Extract TokenSeparatorExtractor classes into separated package)
* https://github.com/b0noI/AIF2/issues/250 (PredefinedTokenSeparatorExtractor should have list of the characters in the config (and not hardcoded))
* https://github.com/b0noI/AIF2/issues/249 (Find replacement for RegexpCooker)
If some of the issues have been closed already, do not worry, you still can send your pull request. Of Course in such case it is not going to be merged, however I will review it and will provide my feedback and comments.
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «tokenization in Java (with AIF)», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.