2018-03-28 Odnoklassniki Architecture.md

Мысль

Tags: архитектура, fun, одноклассники

В следующий раз, когда буду отговаривать себя рассматривать на включение в проект не-old-classic-enterprise решений из-за их возможной сложности, буду перечитывать это описание сервиса рекомендации музыки в одноклассниках:

Информация обо всех действиях пользователя стекается в классическую реляционную базу данных MS SQL, где происходит первичная обработка, фильтрация и агрегация данных (да, старый добрый SQL тоже может обрабатывать big data). Подготовленные в SQL данные выгружаются для дополнительного анализа в небольшой Hadoop-кластер, который делает компактную, но информативную выжимку, используемую уже в реальном времени (часть её импортируется в Cassandra, часть загружается сразу в память). Для пущей оперативности последние действия пользователей складываются в БД (Tarantool) и также учитываются в онлайне.

источник

~~OWNERAPPROVE~~