Beyond PFCount: Tiny Big Data Counting Engine
Shrif Nada, from LiveRamp, talks about approximating cardinalities of set Intersection in loglog space with HyperMinHash.
PFCount is Redis' awesome & memory-efficient way of approximating the cardinality of a set, or the cardinality of a union of sets. Wanna know the total number of elements in the union of some sets? Redis' Hyperloglog-backed PFCount lets you do that in loglog space (relative to the number of distinct elements) and linear time (relative to the number of sets)! Pretty amazing stuff indeed.
But HyperLogLog sketches (and therefore PFCount) lack the ability to approximate an important set operation: cardinality of intersection. In this talk, we discuss HyperMinHash: a state-of-the-art probabilistic data structure which can approximate set, union, and intersection cardinalities with the same efficiency & accuracy as HyperLogLog! At LiveRamp, we've been using HyperMinHash backed by Redis to power some of our core products for some time now, and we'd love to share our experience with all of you. Algorithms: HyperMinHash Technologies: Redis Takeaways: loglog space counting of set, union, and intersection cardinality backed by Redis
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Beyond PFCount: Tiny Big Data Counting Engine», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.