Сегодня анализ «больших данных» (БД) становится рутиной. С подобными задачами сталкиваются более 90% россйских компаний, участвовавших в опросе, проведенном компанией IDC совместно с Hitachi Vantara. Причем, процесс идет по нарастающей: 78% опрошенных отметили рост объема данных, обрабатываемых в компаниях по сравнению с предыдущим годом. Откуда берутся БД и какие задачи позволяют решать бизнесу?
Как показал опрос IDC, в списке задач лидирует анализ транзакционных данных из учетных систем — 61%. Для 52% компаний аналитика больших данных используется для работы с информацией о клиентах, 51% опрошенных планируют применять решения для анализа потоковой информации. Последнее особенно интересно, ведь это актуальность этой цели будет расти. Речь идет о работе с данными соцсетей и видеопотоков с камер.
Число источников информации расширяется не только «органическим» путем за счет развития технологий, но и комбинаторным. По данным исследования, для 45% опрошенных актуальна задача дополнения транзакционных данных другими источниками информации. Интеграция данных транзакционных систем и неструктурированного контента позволяет получить более точную информацию о бизнес-процессах, клиентах, продуктах и услугах.
Как отмечают исследователи, для респондентов все большую важность приобретает неструктурированная информация из различных источников (82%) и и возможность анализа этой информации без дополнительного кодирования (66%). Как это делается? Рекламная индустрия, работая с продвинутыми клиентами, а другие подобные задачи и не ставят, накопила значительный опыт. Вот только несколько примеров.
Марина Сафонова, руководитель проектов в сфере больших данных 
OMD OM Group
Все больше клиентов хотят узнать о своих потребителях и для этого обращаются к нам за помощью в создании единых пространств для сбора различных данных о них, зачастую полностью сырых. В некоторых компаниях создают собственные отделы, занимающиеся именно обработкой, анализом и настройкой связей между этими данными. Если говорить о рекламной индустрии в целом, то «большие данные», в первую очередь, помогают нам строить более точные сегменты для таргетинга рекламных кампаний, помогают улучшать и персонализировать креатив, увеличивать медийные показатели внутри кампании, а также понять, чем живет и интересуется потребитель того или иного товара.
Цели у клиентов разные, поэтому и задачи часто решаем нестандартные. Если говорить про какие-то стандартные вещи, то клиенты проявляют определенный интерес к данным ОФД, сотовых операторов, mac-провайдеров. Перечисленные источники данных помогают соединять онлайн с оффлайн и тем самым выстраивать воронки продаж и кросс-канальную коммуникацию. В онлайн-среде есть много информации по покупкам и поведению пользователей на сайтах. Эти данные хранятся и обрабатываются в платформах DMP и весьма полезны для дальнейшего использования в различных размещениях и глубокого анализа аудитории.
Еще не так давно данные использовались, преимущественно, агентствами для разработки и анализа рекламных кампаний. Сейчас многие клиенты предпочитают иметь у себя массивы БД по интересам своих интернет-потребителей и анализировать их самостоятельно, имея в виду различные цели.
Роман Любимцев, руководитель отдела автоматизации и аналитики 
MediaGuru
Большие данные — это основной источник данных при анализе стриминг хитов пользователя и его поведения на сайте. Полученную информацию можно интерпретировать разными способами: собирать из хитов сессии или агрегировать по конкретному пользователю, чтобы смотреть ретроспективу.
На этой основе можно обучать модели, выделяющие группы или даже единичных пользователей, представляющих особую ценность для клиента. Это делается методом сравнения поведения исследуемой группы от тех, кто уже идентифицирован, например, как «ценный клиент». В качестве метрик могут выступать микроконверсии и поведенческие (бихевериальные) параметры: раскрытие или дочитывание статей, добавление в избранное, в корзину, шаг пользователя в воронке, время между шагами
Александр Савин, директор по развитию 
Publicis Media
Примером, подтверждающим актуальность анализа больших данных для рекламной индустрии может стать распознавание образов в видео при помощи нейронной сети. Такие решения применяют для оценки эффективности рекламных роликов
Мы думаем над тем, как расширить границы полезности этих продуктов, используя новые источники информации. Например, фискальные данные о продажах в связке с данными о рекламных инвестициях в разбивке по регионам могут помочь принять тактические решения, и помочь проверить определенные гипотезы непосредственно в ходе рекламных кампаний.
Сегодня границы рекламной индустрии становятся условными, экспертиза агентств начинает распространяться и на услуги, связанные с анализом данных, с целью определения точек роста бизнеса клиента.
Николай Сущенко, Analyst Team Lead 
Adventum
В своей практике мы использовали данные о том, какие еще ресурсы посещали пользователи сайта нашего клиента. Информацию получали с помощью платформы управления данными Aidata. На основе этих данных мы строили прогноз, насколько эффективен будет ремаркетинг для пользователя в разных каналах и формировали аудитории. Это позволило сократить бюджет на ремаркетинг без значительного снижения числа конверсий.
Геннадий Лурье, директор по развитию бизнеса Bidease
Мы в Bidease используем «большие данные» для решения широкого спектра задач, начиная от сегментации пользовательских интересов и заканчивая борьбой с фродом. Сейчас наша платформа получает около 750 тысяч рекламных запросов в секунду, каждый из которых мы обрабатываем и отвечаем менее чем за 1 миллисекунду. Также мы записываем в базу порядка 15 тыс. сообщений в секунду. Возможно, это не большие данные для компаний уровня Facebook или Amazon, но для ad-tech индустрии — это очень хороший показатель.
По роду своей деятельности рекламная платформа Bidease постоянно сталкивается с необходимостью хранить и обрабатывать данные таких объемов, с которыми человеку никогда не приходилось иметь дело. Все перечислить невозможно: рекламные запросы, интересы пользователей, категории приложений, тепловая карта, сторонние данные. Обрабатывая все это в считанные секунды, мы создаем предикторные модели, которые затем повышают конверсию из показа рекламы в действия, в интересах рекламодателя. В контексте нашей платформы — это установки приложений, покупки или продажа контента.
Наталия Балута, Head of Knowledge Business Science&Consumer Insights Department 
MediaCom
Работая на рекламном рынке, мы сталкиваемся с необходимостью анализа больших данных. Прошли времена, когда можно было заметить спрос и подготовить под него предложение. В современном мире, чтобы добиться успеха, спрос необходимо предсказывать заранее, знать в каком городе, в какое время человеку что-то понадобится и быть там заранее. Звучит как сюжет из фантастического фильма, но именно анализ больших данных делает это возможным.
Основная задача, которую мы решаем с помощью анализа больших данных, — это предсказание повышенной вероятности потребления с точностью до времени дня и геолокации. Это важно и применимо для многих категорий потребительских товаров и услуг. Позволяет быть впереди конкурентов и повысить эффективность как медиа инвестиций, так и логистических затрат.
Для этого мы используем данные, которые получаем от специализированных поставщиков: данные мониторинга социальных сетей, транзакционные данные, траффик, конкретный набор данных зависит от категории бизнеса и географии.
Выбор того или иного решения для обработки «больших данных» — важная проблема. Как показал опрос IDC, для 60% компаний один из важнейших факторов выбора — простота пользования. С чем это связано? Цифровая трансформация компании подразумевает вовлеченность большего числа сотрудников в работу с данными, так называемую «демократизацию» доступа к данным и возможность использования актуальной информации на всех стадиях бизнес-процессов. Происходит расширение состава сотрудников, способных обращаться в своей работе к актуальной информации, самостоятельно выбирать анализируемые источники и формат конечных результатов. Естественно, что простота в этом случае снижает вероятность ошибки и сокращает время на обучение.
«Тенденция развития в сторону расширению числа сотрудников, участвующих в работе с большими данными, действительно есть, — подтверждает Марина Сафонова из OMD OM Group. — Есть компании на разных уровнях развития цифровой трансформации: некоторые уже создали отделы по анализу данных, некоторые только собираются, а некоторые придут к этому только через некоторое время. О том, что процесс идет свидетельствует хотя бы то, что некоторые крупные кампании уже оценивают знание языка python как преимущество для штатных сотрудников. Им действительно нужны специалисты, которые умеют работать с неструктурированными данными».
Правда, хотя прогресс не остановить, Николай Сущенко из Adventum предостерегает от излишнего увлечения последними трендами: «При работе с большими объемами данных нужно оценить необходимые вложения и потенциальную выгоду. Есть вероятность, что экономия окажется примерно равной стоимости затраченных ресурсов»
Об исследовании IDC и Hitachi Vantara: в ходе проекта были опрошены российские компании с штатной численностью свыше 500 человек, всего 101 компания. Отраслевая принадлежность участников опроса: промышленное производство, транспорт, телеком, финансы, розничная торговля, энергетика и др. На вопросы исследователей отвечали руководители ИТ-департаментов, представители бизнес-подразделений и специалисты по работе с данными.