PySpark: Python API for Spark
UC Berkeley AmpLab member Josh Rosen, presents PySpark. PySpark is the new Python API for Spark which is available in release 0.7 This presentation was given at the Spark meetup at Conviva in San Mateo, Ca on Feb 21st 2013. Download here http://spark-project.org/downloads/
Summary:
00:33 What is Spark?
03:00 What is PySpark?
03:45 Example Word Count
04:35 Demonstration of interactive shell on AWS EC2
06:22 tracking time elapsed, %time berkeley_pages.count()
06:37 Spark web interface
09:14 Distributing data, sc.parallelize
11:20 API documentation
11:27 Python doctest, create tests from interactive samples
11:58 Example kmeans.py, k-means clustering
12:39 Getting help help(sc)
13:00 Example wordcount.py
13:18 PySpark Implementation details
14:15 PySpark less than 2K lines including comments
17:18 Pickled Objects, RDD[Array[Byte]]
17:44 Batching Pickle to reduce overhead
18:00 Consolidating operations into single pass when possible
19:27 PySpark Roadmap,
adding sorting support, file formats such as csv, PyPy JIT
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «PySpark: Python API for Spark», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.