Компания Mediascope запустила в промышленную эксплуатацию платформу data science для разработки и внедрения моделей машинного обучения (machine learning, ML). Технология позволит снизить операционные риски и сократить время вывода на рынок интеграции моделей в бизнес-процессы компании. Технологическим партнёром проекта стала Neoflex, сообщили Sostav в Mediascope.
В результате разработки компания получила управляемое пространство для разработки ML-моделей. Оно позволяет оперативно подключать внутренние команды дата-сайентистов с возможностью оценки результатов их работы.
Платформа также позволит минимальными трудозатратами привлекать внешние ML-команды, чтобы решать больше задач. Кроме того, специалистам станет доступен централизованный каталог готовых пайплайнов (методов отслеживания потенциальных клиентов по мере их движения навстречу сделке — прим. Sostav).
Сейчас в платформе настроены процессы MLOps: версионирование моделей, отслеживание экспериментов, сборка исполняемых сервисов на базе разработанных моделей. Устройство платформы обеспечивает автоматизированный процесс разработки и внедрения моделей, их перенос в промышленную среду, а также предоставляет инструменты для визуализации метрик экспериментов. Это ускоряет разработку и позволяет добиться воспроизводимости результатов, сделать обработку данных более надёжной.
Василий Кузьмин, директор по информационным технологиям Mediascope:
В компании имеется отлаженный процесс и собственные инструменты по развёртыванию моделей машинного обучения как сервисов и включению их в конвейеры обработки данных, однако для повышения возможностей масштабирования, прозрачности процесса и сокращения времени по выводу исследовательских алгоритмов в промышленную эксплуатацию было решено разработать новую DS-платформу. Это даёт возможность как для более тесной интеграции внутренних команд, так и при необходимости, для оперативного подключения внешних команд к разработке новых моделей с автоматизированной валидацией качества предложенных решений.
Алексей Антонов, ассоциированный партнер, руководитель центра компетенций Data Science компании Neoflex:
Mediascope — технологичная компания, использующая большое количество сложных ML-моделей для обработки данных и получения аналитики. Поэтому для нас было особенно важно разработать решение, которое бы полностью удовлетворяло высоким технологическим стандартам нашего заказчика, и при этом было бы удобным в ежедневном использовании дата-сайентистами. Внедрение новой Data Science платформы позволит Mediascope сократить time-to-market для новых аналитических продуктов, основанных на моделях машинного обучения, а также снизить трудозатраты команд по валидации и выводу моделей в промышленную эксплуатацию.
Для построения платформы использовано решение Kubeflow с открытым исходным кодом. Кроме того, используется Argo Workflow как наиболее развитый оркестратор рабочих процессов на Kubernetes, входящий в Kubeflow и облегчающий процесс использования разработанных моделей.