Introducing a Unified, Managed Workflow Service for LINE Data Platform - 2021 English version -
Data #linedevday
LINE Data Platform is serving thousands of ETL jobs on Apache YARN. Most jobs have been scheduled by users' own schedulers, and it has brought a lot of negative data engineering to users: they have to learn about and manage schedulers such as Apache Airflow, and then implement their own logic of data validation, retry, notification and so on. Moreover, the platform has often been affected by users’ careless configuration and unoptimized queries. We have developed a unified, managed workflow service on top of Apache Airflow, to make users focus on their own business without scheduler specific knowledge. In this session, we will talk about the design philosophy of "DAG as conf", Airflow on Kubernetes, Spark 3 and other practices.
■ Speaker
Yang Xu
LINE / Data Platform Department / Software Engineer
Yang Xu is the engineer of Data Platform Department. Xu is mainly in charge of the development of an automation platform for Batch and the construction of Data Pipelines. Xu is also interested in Data Quality.
■ Website
https://linedevday.linecorp.com/2021/en/sessions/58
■ Slide
https://speakerdeck.com/line_devday2021/introducing-a-unified-managed-workflow-service-for-line-data-platform
■ Other language Movie
JP: https://youtu.be/NQWoh2mC22g
KO: https://youtu.be/ZrAoLRR0Op4
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Introducing a Unified, Managed Workflow Service for LINE Data Platform - 2021 English version -», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.