Using the spark-shell to explore your datasets | Query XML CSV
The spark-shell is a versatile tool for data engineers to explore datasources, quickly prototype solutions as well as a debugging tool analyse data interactively. It may be run on your local development system as well as on a spark cluster like AWS EMR. This is a quick tutorial to introduce you to the various features spark-shell has to offer, we'll also look at using an external package by Databricks to query XML data.
Timecodes
0:00 - Intro
0:48 - Starting spark-shell
1:28 - Creating a DataFrame from a CSV file
2:31 - Importing classes
3:30 - Intro to processing XML files with Spark
4:06 - Start spark-shell with external packages (spark-xml for xml processing)
5:02 - Create a DataFrame from a XML file
6:45 - Paste mode for multi-line commands: Define a custom schema for our XML file
Commands in this video maybe found here: https://github.com/oliversavio/youtube-vid-code/tree/main/spark-shell
Databricks spark-xml GitHub Repo: https://github.com/databricks/spark-xml
-----------------
Support
-----------------
Buy me a coffee: https://www.buymeacoffee.com/4xdMY36Ek
-----------------
Blogs
-----------------
Personal: http://olivermascarenhas.com/
Medium: https://medium.com/code-uncomplicated/
----------------------
Mentoring
----------------------
Find me on Code Mentor and book a 1:1 Mentoring Session
https://www.codementor.io/@oliversavio?refer=badge
-----------------
Social
-----------------
Twitter: https://twitter.com/olly0808/
LinkedIn: https://www.linkedin.com/in/olivermascarenhas/
#apachespark #bigdata #dataengineering #spark #learningspark #scala #machinelearning #datapipelines #xml #transformation #etl
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Using the spark-shell to explore your datasets | Query XML CSV», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.