Data Processing More Than a Billion Rows per Second
Nowadays, GPU is not only for computing intensive workloads, but for I/O intensive big-data workloads also.
This talk introduces how SSD-to-GPU Direct SQL, implemented as extension of PostgreSQL, optimizes data flow from storages to processors over PCIe-bus for efficient execution of analytic/reporting workloads.
Combination of this technology with comprehensive database features (e.g, columnar-store, partitioned tables, ...) pulled out maximum capability of the latest hardwares, for more than billion rows per second grade data processing on a single-node PostgreSQL server.
Its main focus is log-data processing on IoT/M2M area where tons of data is generated day-by-day. Our approach allows to simplify the system landscape, and utilize engineer's knowledge and experiences of PostgreSQL.
In short, this talk contains the items below from the technology viewpoint.
SSD-to-GPU Direct SQL
Columnar-store (Arrow_Fdw)
PCIe-bus level optimization using table partitioning
Benchmark results
Customer case (under the negotiation)
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Data Processing More Than a Billion Rows per Second», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.