Python Streaming Pipelines with Beam on Flink
This a talk by Thomas Weise presented at SF Big Analytics meetup in Feb 2019 at Lyft HQ in San Francisco.
Apache Beam established a unified programming model for data processing. Its vision bridges not only the gap between batch and streaming, but also across languages (Java, Python, Go, ..) and various execution engines. To accomplish all of this, Beam requires cross-language support.
Over the past year, the Beam community has leaped closer towards realizing the cross-language support and enabled processing pipelines written in Python to run on Apache Flink. Lyft has contributed to this effort and is about to launch the first production Python streaming use case on this new stack.
Python running natively with all its libraries & with the JVM based Flink runner? Let’s take a look at how the magic works and what comes next!
Thomas Weise is Software Engineer, Streaming Platform at Lyft. He is Flink committer, PMC member of Apache Apex & Beam, and has contributed to several more of the ecosystem projects.
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Python Streaming Pipelines with Beam on Flink», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.