Airflow tutorial 6: Build a data pipeline using Google Bigquery
In this tutorial, we will build a data pipeline by integrating Airflow with another cloud service: Google Cloud Bigquery.
? Want to master SQL? Get the full SQL course: https://bit.ly/3DAlxZc
? Subscribe for more tutorials like this: https://bit.ly/2MEfT1H
- Tutorial post: https://www.applydatascience.com/airflow/bigquery-pipeline-airflow/
- Code: https://github.com/tuanavu/airflow-tutorial/tree/v0.6
- Instruction to set up and run this tutorial: https://github.com/tuanavu/airflow-tutorial/blob/master/docs/bigquery_github_trends.md
- github-trend-analysis - jupyter notebook: https://github.com/tuanavu/airflow-tutorial/blob/master/notebooks/gcloud-example/github-trend-analysis.ipynb
⭐️Want to learn more from me? Connect with me here:
My website - https://www.applydatascience.com/
Instagram: https://www.instagram.com/tuan.a.vu/
Facebook - https://www.facebook.com/applydatascience
Twitter - https://twitter.com/TuanVu8
More resources:
- How to aggregate data for BigQuery using Apache Airflow: https://cloud.google.com/blog/products/gcp/how-to-aggregate-data-for-bigquery-using-apache-airflow
- GitHub data, ready for you to explore with BigQuery: https://blog.github.com/2017-01-19-github-data-ready-for-you-to-explore-with-bigquery/
- Hacker News on BigQuery: https://medium.com/@hoffa/hacker-news-on-bigquery-now-with-daily-updates-so-what-are-the-top-domains-963d3c68b2e2
- BigQuery pricing: https://cloud.google.com/bigquery/pricing#pricing_summary
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Airflow tutorial 6: Build a data pipeline using Google Bigquery», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.