Spark User-defined functions
https://bigdataelearning.com/course/apache-spark-2-with-scala/
https://bigdataelearning.com/courses
https://bigdataelearning.com
Spark lets us define custom SQL functions and use it in our spark SQL. Those custom SQL functions created by user is known as user-defined functions. For example, lower() is a SQL function that we normally use in our SQL queries to lowercase certain column values. If a new such function is created by a user, it is known as user-defined function.
Let’s create a “square” udf that we can use it to square a column value. To create the UDF, I am creating a scala method called “squared”. It takes an integer as a parameter. What this function does is simply returns the squared value of the input.
Then we should register the udf. I am registering the “squared” function as an UDF. Spark.udf.register(“udf-name”, actual-function-name)
Now, in the spark SQL let’s write a query. We have a dataframe with column name as “value”. It contains list of integers. Here I am applying the “square” user-defined function on the “value” column. This should return the squared value of this column.
Let’s display the results, using show command. This returns the squared value results as expected.
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Spark User-defined functions», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.