Building Apache Druid on Kubernetes: How Dailymotion Serves Partner... - Cyril Corbon & Alex Trique
Building Apache Druid on Kubernetes: How Dailymotion Serves Partner Data - Cyril Corbon & Alex Triquet, Dailymotion
At Dailymotion we use Apache Druid to serve our partner-data (views, monetization etc.) Druid is a distributed time-series / column / database with few competitors in the OLAP world. We install our druid cluster on kubernetes with druid-operator. This allows us to easily manage its lifecycle, do automatic rolling upgrade, provide an easy way to scale and use cncf ecosystem for automatic exposition with cert-manager, external-dns and ingress-nginx. However to run our druid setup on kubernetes we had to solve challenges related to availability, metadata and evolutivity. We will present our architectures (past and present) and the technical means we used to install and manage druid on our clusters with an opensource operator, how we optimize our caching with Memcached and caffeine and how we performed a migration with no downtime and no costly backfills. At the end we will explain how we integrate this setup with our gitops workflow , how we realize common operations (vertical/horizontal scaling, updates, monitoring) and what we are working on as the next step for our Druid stack: Ingestion improvements, multi-tenancy and running Druid without Apache Zookeeper
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Building Apache Druid on Kubernetes: How Dailymotion Serves Partner... - Cyril Corbon & Alex Trique», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.