PySpark Framework - Python Functional and OOP - Part 2 - ETL code clean up & debug
0:00 - code clean up - class - create a method to open JSON
9:28 - code clean up - jobs - undo nested functions
13:11 - code clean up - class - remove functions as arguments
15:51 - code clean up - class - move if statements into functions
21:27 - code clean up - remove printing anything to terminal
22:58 - class - create a method to write dataframe schema to file
58:42 - github code repository
1:00:43 - code clean up - class - move if statement into function
1:14:00 - code clean up - jobs - move function call showMySchema
1:18:00 - jobs - function to convert dataframes to temp SQL tables
1:31:14 - jobs - pass dataframes to function as list of tuples
1:35:53 - class - new method to create spark temporary SQL tables
1:39:11 - jobs - list comprehension + lambda to iterate list
1:48:03 - class - parse tuple dataframe and create temp SQL table
1:53:55 - class - update debugging to write JSON files for tables
download code
https://github.com/datyrlab/python-pyspark-framework
next video:
PySpark Framework - Python Functional and OOP - Part 3.1 - Export data to Delta Lake
https://youtu.be/fLYRaVsnsqU
previous videos:
PySpark Framework - Python Functional and Object Orientated Programming - Part 1 - ETL
https://youtu.be/EttGKeT4e3U
https://twitter.com/datyrlab
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «PySpark Framework - Python Functional and OOP - Part 2 - ETL code clean up & debug», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.