Compare CPU v GPU Performance On Dataframe - Python, Coiled, Rapids
Quick example of 4X speedup working with dataframes between GPU and CPU Dask clusters
Read the canonical NYC Taxi dataset and perform a groupby:
- Same cluster sizes 4 nodes: 4 vCPU 16 GB RAM (T4 NVIDIA GPU)
- CPU cluster - Dask Dataframe - 90 seconds - $0.16 Coiled cost
- GPU cluster - Rapids cuDF - 18 seconds! - $0.29 Coiled cost
So while the GPU cluster costs 2X the CPU cluster, the same code runs more than 4X as fast.
Thanks Rapids - the code is basically identical between cuDF and Dask Dataframe, so even I can understand it.
The best part. Thanks to Erik Welch & James Bourbeau, I ran the GPU code from my local machine using their package afar. If you're like me and you don't have a GPU on your laptop, it can be a little tricky to use Rapids on GPU cluster without a local GPU. Thanks to afar it's much easier. Pip install both afar and Coiled and you're all set to try this at home.
Big thank you to Natalia C. Clementi for creating this example
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Compare CPU v GPU Performance On Dataframe - Python, Coiled, Rapids», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.