Airflow Tutorial: Automate SFTP Operations using Apache Airflow
While not necessary, if you enjoyed this video, buying me a coffee is greatly appreciated!
https://www.buymeacoffee.com/prodprogrammers (no refunds)
I do so much work with SFTP servers that I have been looking for solutions to help automate some of this repetitive work. One possible solution that I have been looking into is Apache Airflow. In this video, I give a tour of Apache Airflow's features and how you can go about writing Airflow workflows (DAGs) that download and upload files from SFTP servers.
Code from this tutorial:
airflow-installation.txt:
https://gist.github.com/productivity-for-programmers/9b5952d33964fc68708984e9d2971d4f
sftp_operators_workflow.py:
https://gist.github.com/productivity-for-programmers/10f5c9e85f3212656d905e71c462f282
sftp_hooks_workflow.py:
https://gist.github.com/productivity-for-programmers/3430635cd1d7253ea8d971cd4b6d10b9
Introduction: 00:00
Installing Airflow: 00:55
First Airflow DAG/Workflow: 01:29
Configuring SFTP Connections: 03:25
Triggering the DAG/Workflow: 07:28
Problems with this Workflow: 10:19
Using Airflow Hooks: 11:53
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Airflow Tutorial: Automate SFTP Operations using Apache Airflow», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.