How to write Apache Spark DataFrames to Elasticsearch
In this video, we'll look at writing an Apache Spark DataFrame to an Elasticsearch index. We'll use the Elasticsearch Docker container to setup a single node cluster in our local development environment.
0:00 - Intro
0:50 - Adding Dependencies
1:29 - Elasticsearch with Docker
1:53 - ElasticVue plugin for Firefox
2:11 - The Code
3:29 - Understanding the WAN ONLY property
7:02 - Maven assembly plugin
7:36 - Execute with spark-submit
8:58 - Analyse the maven dependency tree
Link to the original blog post: https://medium.com/olivers-tech-blog/writing-a-spark-dataframe-to-an-elasticsearch-index-77a9de7dc3aa
Source Code and commands used in this video: https://github.com/oliversavio/youtube-vid-code/tree/main/spark-with-elasticsearch
-----------------
Support
-----------------
Buy me a coffee: https://www.buymeacoffee.com/4xdMY36Ek
-----------------
Blogs
-----------------
Personal: http://olivermascarenhas.com/
Medium: https://medium.com/code-uncomplicated/
----------------------
Mentoring
----------------------
Find me on Code Mentor and book a 1:1 Mentoring Session
https://www.codementor.io/@oliversavio?refer=badge
-----------------
Social
-----------------
Twitter: https://twitter.com/olly0808/
LinkedIn: https://www.linkedin.com/in/olivermascarenhas/
#apachespark #elasticsearch #bigdata #dataengineering #scala #docker
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «How to write Apache Spark DataFrames to Elasticsearch», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.