Apache Airflow | Build Custom Sensor | KubernetesPodSensor
In this video we will build a custom sensor for Apache Airflow known as KubernetesPodSensor. This Sensor is inspired from KubernetesPodOperator, which lets you run a docker image in a dedicated pod on each poke interval.
Prerequsites:
1. Airflow Sensors: https://youtu.be/ZqIJC4mvAdw?si=W0I9_VogawHXcv0_
2. Airflow on Kubernetes: https://youtu.be/RqSYh3UI_Is?si=YImHRQrDzi9_3Wl_
2.1 Airflow on Kubernetes using rancher: https://youtu.be/eZBD-G3Ybhs?si=bxqdgUjVoatSCmoJ
3. Airflow KubernetesPodOperators: https://youtu.be/b1gpbGB058M?si=s18zcfp5Ofd2_BKj
Get the code:
dynamoDB-readiness-check: https://github.com/maxcotec/dynamodb-readiness-check
dag and sensor code: https://github.com/maxcotec/airflow-k8s-rancher
Timeline:
00:00 intro & outline
00:38 prerequisites
01:31 Airflow Sensor recap
02:08 why KubernetesPodSensor
02:43 How KubernetesPodSensor will work
04:13 write code for sensor
06:28 write dag code
09:23 build image
11:06 deploy airflow
12:07 test the dag
15:02 conclusion
15:53 outro
#apacheairflow #maxcoteclearning #apacheairflowsensor
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Apache Airflow | Build Custom Sensor | KubernetesPodSensor», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.