«ДАР» помог Сравни оптимизировать архитектуру данных

Специалисты компании «ДАР» (входит в ГК «КОРУС Консалтинг») провели аудит платформы данных финансового маркетплейса Сравни, развернутого в среде для создания ИТ-продуктов Yandex Cloud. По итогам аудита эксперты подготовили рекомендации, которые уже помогли Сравни повысить производительность сервиса в условиях постоянно растущей нагрузки, связанной с увеличением клиентской базы.

Финансовый маркетплейс Сравни позволяет сравнивать и подбирать различные финансовые и страховые продукты. На платформе можно выбрать и оформить кредиты, ипотеку, вклады, кредитные карты, страховки (ОСАГО, каско и другие).

На фоне роста числа посетителей сайта маркетплейса компании было важно подтвердить устойчивость и эффективность архитектуры хранилища данных, а также сформировать программу дальнейшего развития платформы.

Проектная команда проанализировала текущее состояние платформы, развернутой в Yandex Cloud, включая ETL-процессы, конфигурации Yandex Managed Service for Greenplum, Yandex Managed Service for ClickHouse, Yandex Data Proc, Argo Workflows и объектного хранилища Yandex Object Storage (S3-совместимого). После аудита эксперты предложили шаги для повышения стабильности платформы и ускорения обработки данных.

В частности, специалисты предложили оптимизировать хранение данных, доработать процессы их загрузки и обработки, перенести часть вычислений в другие сервисы облачной инфраструктуры, а также сделать витрины данных в ClickHouse более эффективными за счет оптимизации структуры хранения и загрузки. Кроме того, команда «ДАР» подготовила альтернативный вариант дальнейшего развития платформы.

«Для нас было важно получить подтверждение, что можно выстроить зрелую архитектуру данных на базе современных облачных технологий и постоянно повышать ее эффективность. Прозрачная архитектура хранилища данных и способность выдерживать высокие нагрузки позволит нам подготовить фундамент для более сложных задач в области машинного обучения и data science», — подчеркивает Екатерина Мосалева, руководитель отдела аналитики в Сравни.

«Наша экспертиза в работе с различными технологическими инструментами помогла нам эффективно решить задачу в данном проекте. Несмотря на сложную архитектуру мы смогли четко идентифицировать ключевые моменты, которые необходимо оптимизировать для того, чтобы повысить прозрачность хранилища данных, сократить время реакции команды Сравни на возможные инциденты и сбои, а также предложить стратегическую дорожную карту для развития инфраструктуры на базе Yandex Cloud», — комментирует Павел Ревин, руководитель центра компетенции платформ данных «ДАР» (входит в ГК «КОРУС Консалтинг»).