Gismo for Ray: A Multi-Node Shared Memory Object Store That Accelerates Ray Workloads
Ray is a powerful distributed computing framework. However, as data sets grow and computation requirements become more complex, managing memory usage across multiple computing nodes becomes increasingly challenging. Issues that slow down performance include the data copying between the computing nodes, data spilling out of memory into storage, and the data skew among computing nodes. We'll introduce Gismo, a multi-node shared memory object store based on Compute Express Link (CXL) technology to address this challenge. With the help of Gismo, Ray does not need to serialize and transfer the extra copies of the objects across network. Data spill and skew issues will be minimized because each host has direct memory access to the whole object store. This talk will demonstrate how Gismo is integrated with Ray and showcase how it improves overall performance and reduces memory overhead for Ray users.
Find the slide deck here: https://drive.google.com/file/d/1Be3_JymDOIccHoLDxhLcApF_IYVGYjy-/view?usp=drive_link
About Anyscale
---
Anyscale is the AI Application Platform for developing, running, and scaling AI.
https://www.anyscale.com/
If you're interested in a managed Ray service, check out:
https://www.anyscale.com/signup/
About Ray
---
Ray is the most popular open source framework for scaling and productionizing AI workloads. From Generative AI and LLMs to computer vision, Ray powers the world’s most ambitious AI workloads.
https://docs.ray.io/en/latest/
#llm #machinelearning #ray #deeplearning #distributedsystems #python #genai
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Gismo for Ray: A Multi-Node Shared Memory Object Store That Accelerates Ray Workloads», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.