MLOps Tutorial #6: Behavioral tests for models with GitHub Actions
To understand how machine learning models are performing, we need to go deeper than just reporting accuracy. Introducing *behavioral tests*: an approach to understanding the robustness and reasonableness of ML models before you deploy them!
In this GitHub Actions tutorial, we'll explore how to write a basic behavioral test to check that an NLP sentiment classifier is robust to typos. We'll use the GitHub Actions continuous integration system, plus CML and DVC, to automatically compare a new model's robustness to typos to our current model, and report the comparison in a pull request.
**Resources in this video**
Project GitHub repository: https://github.com/elleobrien/typo_test
Jeremy Jordan blog: https://www.jeremyjordan.me/testing-ml/
Continuous Machine Learning (CML) project: https://github.com/iterative/cml
Follow us on Twitter!
DVC: https://twitter.com/DVCOrg
??? To learn more about our tools, take our free online course at https://learn.iterative.ai
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «MLOps Tutorial #6: Behavioral tests for models with GitHub Actions», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.