Мифы SMM рунета. Автоматическое НЕопределение тональности упоминаний

Публикуем статью Андрея Комаровского, директора коммуникационно-консалтинговой компании SMM3.

Одним из устойчивых мифов об онлайн-мониторинге в СНГ стало утверждение о том, что «нельзя автоматически определить тональность сообщений» (достаточно свежий пример здесь). Это утверждение, зачастую не подкрепленное ни практикой, ни достаточно надежными теоретическими аргументами, имеет свои границы истинности и не может быть последним словом в отрасли. Нет, не подумайте, что великий и могучий русский язык тут виной. Это не главная причина устойчивости этого мифа (хотя это причина достаточно распространенная). Какими бы ни были истоки этой мифологии, ясно одно: у этого мифа нет прочной основы, а будущее онлайн-мониторинга сложно себе представить без автоматизации одного из ключевых процессов сбора и анализа данных из онлайн-медиа. Давайте заглянем в это будущее…

Миф неопределяемости тональности сообщений

Начнем с правильной постановки вопросов. Что такое настроение сообщения? Что такое сообщение? Твит неудовлетворенного сервисом клиента и профессиональный обзор ИТ-журналиста — это все «сообщения». Но разве их можно и нужно анализировать одним и тем же образом? Ведь с твитом клиента будет работать служба клиентского сервиса, а с обзором — PR-служба. Первым нужно быстро получать все сообщения от неудовлетворенных клиентов и реагировать на них, вторым — размеренно собирать публикации PR-характера и изучать их контент и авторов. Оба сообщения можно проанализировать на содержающиеся в них настроения. Но это будут разные задачи, разный анализ и разные требования. Забыв о сообщениях в виде статей, мы получаем вполне посильные и эмоционально насыщенные человеческие фразы и обороты, которые за рядом исключений (иронии и некоторой фразеологии) можно так же типовым образом проанализировать, как мы делаем это в повседневном языке. Все типичное может быть технологизировано и автоматизировано. Будь то сам язык или его анализ.

В действительности на рынке сложилась вполне определенная ситуация, в которой этот миф может жить, поддерживаясь и внедряясь в умы smm-специалистов. Он выгоден тем, кто кормиться с данного мифа. В данном случае речь идет о компаниях, агентствах или поставщиках мониторинга, у которых ручной анализ тональности (или фильтрация шума, разметка категорий и т.п. задачи внутри мониторинга) составляет часть портфеля услуг или бюджета. Парадокс состоит в том, что на данном этапе коммерчески невыгодно автоматизировать эти задачи, поскольку агентство или вендор, продающий мониторинг как услугу вместе с собственно инструментом, сразу теряют существенную часть бюджета и прибыли.Не секрет, что разметкой часто занимаются (удаленные) сотрудники, которые недостаточно или вообще неквалифицированы в области бизнеса клиента, но как любые нормальные люди они понимают человеческую речь и могут определять ее тональность там, где не нужны специальные знания для понимания оценок в обсуждениях на профессиональные темы. Эти сотрудники день за днем перерабатывают сотни типовых эмоциональных оборотов и выражений, размечая самые разные сообщения (от твитов до PR-публикаций).

Сегодня лишь немногие разумные люди протестуют против использования инструмента мониторинга, чувствуя, что это уже нечто большее, чем простая надстройка над Яндексом. Просто посмотрите, как устроен мониторинг, какие там составляющие и представьте, что инструменты дают возможность автоматизировать в большей или меньшей степени почти каждую стадию мониторинга. Это реальная экономия времени и денег, которую ничем уже не заменить (ни Excell, ни другими надстройками). И вот как сегодня только по незнанию или «гениальности» можно говорить, что инструменты мониторинга не нужны, в скором будущем такой же нелепостью будет призыв использовать исключительно людей, потому что они «умнее» и «надежнее» проанализируют пару десятков тысяч сообщений о вашем бренде или продукте.

Люди достойны более интеллектуальных задач. Намеренно заостряя аспект объемов анализа, нужно еще помнить про время, которого всегда мало, и про деньги, которых еще меньше, чтобы тратить их на оплату работы удаленных «студентов», совершающих день за днем тысячи идентичных рутинных операций — так что с них уже вживую можно писать семантические алгоритмы для автоматизации этой рутины. Чем больше вы упоминаетесь в онлайн-медиа, тем больше вы тратите и теряете на обслуживании себя при мониторинге.

Зачем нужна семантика и почему она не должна быть «всесильной»

Еще раз повторим, что анализ больших сообщений (установка классического и устаревшего медиа-анализа из середины ХХ века) в его целостности и разнообразии (и всех лежающих внутри тональностей) — это частный, сегодня редко применяемый случай анализа онлайн-медиа (PR-клиппинга). В онлайн-медиа люди не пишут длинных сообщений, люди упоминают бренд или продукт в конкретных, локальных ситуациях и контекстах. За исключением потребительских обзоров (например, на Яндекс Маркете) это небольшие, в одно предложение или оборот, выражения. Это лишь один аспект — не самый важный, стоит отметить, — который ослабляет миф неавтоматизируемости.

Важнее другой аспект мониторинга — это формат обработки и реагирования. PR-менеджер может тихо утащить себе свои сообщения, исследовать и анализировать их по своей методике; в другом режиме он должен отреагировать на негативное отношение к бренду/компании («репутации»), которое не содержит в себе отсылки к негативному опыта отношения с продуктом (собственно его потребления). В противном случае в дело вступает менеджер поддержки (продаж, разработки — все по ситуации), который должен не столько детально анализировать настроения, сколько разбираться с проблемой уже в дальнейшей коммуникации (возможно, достаточно и данных из первичного сообщения), выходя с клиентом на «суть дела» (посмотрите, например, какие темы негатива могут быть у мобильных операторов). Но он должен оперативно и автоматически получать эти трабл-тикеты (и, желательно, знать предыдущую историю покупок, обслуживания и коммуникации с клиентом — все это задачи social CRM, но это уже отдельный разговор).

Кроме того семантика должна использоваться уже на уровне построения поисковых запросов, т.е. для фильтрации шума, а также четкого отделения рекламно-пиарного контента от потребительского контента (сегментации контента). Если этого не делается, то говорить о том, что столько то людей «обсуждают» бренд некорректно — бОльшая часть контента принадлежит СМИ (новости и их репосты), в которых, естественно, клиенты ничего не обсуждают. Многие вендоры мониторинга — в силу обслуживания преимущественно PR-отделов агентств и компаний — не умеют и вообще не делают этого (и недо-оснащены на технологическом уровне для этой задачи). Например, некорректно говорить о самых обсуждаемых банках, пока не показано, какая доля контента в выдаче действительно представляет собой клиентские обсуждения — жалобы, вопросы, предложения и другие выражения живого потребительского опыта. В противном случае вы «слушаете» не рынок клиентов, а рынок СМИ о банках. Зачем?

Технология АОТ (автоматическое определение тональности) — это технология многомерной идентификации и прямой доставки проблем, вопросов и жалоб клиентов, их запросов на информационную поддержку. Это не всесильная умная технология анализа всего и вся. Задача АОТ достаточно скромная — в бурном потоке упоминаний уметь вычленить не только значимые упоминания на определенную тему (бренд, продукт, атрибут продукта, сотрудники, руководство и т.п. — это могут быть любые темы), но и определить, скрывается ли за упоминаниями клиенты/потребители, у которых опыт взаимодействия с компанией требует оперативного реагирования — будь то решение проблемы или обучение клиента. И анализ тональности здесь — лишь одна из, да и не самая сложная часть работы.

Такова ключевая цель развития семантических технологий в области мониторинга онлайн-медиа. Не стоит ставить перед ними несоразмерных исследовательски-аналитических задач, которые решают проблему анализа сложных и детальных сообщений о потребительском опыте клиентов (обзоров, глубинных интервью и т.п.). На это есть отдельный софт для качественного анализа текстов, соответствующие методики и совсем другие задачи (маркетинговой сегментации, позиционирования и другие), нежели у оперативного онлайн-мониторинга.

Сказанное не означает, что семантика в онлайн-мониторенг примитивна. Как раз таки сегодня сложно отделаться безразмерным решением для всех подряд: словари общечеловеческой лексики и стоящие за ним алгоритмы АОТ нечувствительны к отраслевой лексике. Например, они не могут «схватить» разнообразие негативных эмоций клиента, неудовлетворенного интернет-банком своего банка или качеством покрытия своего оператора. Есть сотни разных способов выразить такую оценку как «интернет-банк работает медленно» или «в покрытии есть белые зоны». А к тому же мы понимаем, что внутри компании есть свои детальные бизнес-правила: одни темы и стоящие за ним запросы имеют разный приоритет для обработки.

А для онлайн-медиа есть и свои особенности: значимость клиента в медиаполе, уже полученное внимание к своей проблеме, очередность или повторный характер проблемы у одного и того же клиента, сила негативного опыта и т.п. Эти правила могут быть достаточно специфичными — и за ними стоит уже другая технология семантической настройки (поисковых и классификационных алгоритмов). Например, вот как эти правила приоритетного отбора и реагирования реализованы у American Airlines и у МТС Россия.

Методика расчета уровня эффективности АОТ

Таким образом, говоря об АОТ, нужно очень четко понимать, о каких задачах, методиках и уровне эффективности решения идет речь. Решения не должны быть совершенными — они должны быть достаточными и рентабельными. Если на настройке алгоритма вы можете сэкономить, то просто делайте это. За деньги, потраченные на разработку алгоритма АОТ, вы можете 2-3 месяца нанимать агентство или заказывать это как сопутствующую услугу у поставщика мониторинга. Но алгоритм — это решение долгосрочное, которое не болеет и не ломается, которое не требует ежемесячных затрат как если бы всегда делаете это с нуля. Как правило достаточно 3-6 месяцев архивных упоминаний (упоминаний из прошедшего периода), чтобы получить достаточную базу для настройки алгоритма АОТ. К тому же ничто не запрещает взять своего более упоминаемого конкурента и на примере его упоминаний настроить алгоритм для себя — лексика потребителей имеет отраслевой характер и отлична переносима на всех игроков отрасли. В последующем алгоритм должен регулярно (ежемесячно) обновляться и корректироваться.

Итак, теперь мы можем систематизировать наши предыдущие наработки в данной серии статей. Мы хотим представить документ, демонстрирующий соотношение различных сегментов контента. Этот документ представляет собой методику расчет уровня эффективности АОТ. В этой серии мы не затронули вопрос корректности работы АОТ, что будет отражено в последующих статьях серии. Приведенный пример расчета взят из отрасли онлайн-поиска и бронирования авиабилетов (расчет для одного из лидеров на СНГ рынке сделан на базе оптимизации для 3 сервисов одновременно). Вы увидите, что доля безоценочных упоминаний составила 56% от всей выдачи, а доля неразмеченных автоматически оценочных упоминаний — лишь 11%. {При разметке тональности мы не применяем «нейтральную» тональность, так как фиксируем только четкие оценки позитивного, негативного или смешанного (негативного и позитивного одновременно) характера.