Противостояние: Крибрум против ручной сборки. Раунд 1
Каждый день миллионы пользователей сети Интернет оставляют свои отзывы о товарах и услугах компаний, клиентами которых они являются. Те компании, которые знают, что пишут о них во всемирной паутине, делятся на две категории: темную и светлую. На темной стороне отзывы собирают автоматизированные системы, а на светлой – специалисты вручную. И не смотря на то, что у первых есть «печеньки» в виде легкости сбора, существует проблема в качестве. Возникает вопрос: почему одни компании «собирают отзывы руками», а другие — с помощью автоматизированных систем?
Этот выбор зависит от целей, преследуемых компанией. Суть автоматизированной системы, например Крибрум, которую мы рассмотрим ниже, состоит в том, чтобы собрать основную массу отзывов. Она не ищет каждый последний отзыв и не отвечает на негативные комментарии. Не исправляет мнение конечного потребителя о бренде. Следующий вопрос, который вы зададите: тогда зачем вообще покупать работу с отзывами, если вы не хотите устранять возникающие проблемы со своими клиентами локально? В компании Growth специалисты ежедневно «собирают руками» каждый новый отзыв, написанный о компании-клиенте. Соответственно, мы охватываем больший объем информации и быстрее реагируем на возникшие у конечных потребителей проблемы. Локально устраняем волны негатива и работаем с каждым отрицательным отзывом, отвечая от лица бренда. Мы готовы делать больше ради достойного результата. Мы также с интересом изучаем автоматизированные системы работы с отзывами, Крибрум в том числе, и беремся тестировать их, когда об этом просят наши клиенты.
Итак, представляем вам результаты исследования системы сбора отзывов Крибрум Игоря Ашманова в сравнении с ручным сбором по бизнес-процессам Growth.
Было выявлено, что Крибрум собирает отзывы, в основном, в социальных сетях, в большинстве случаев это ВКонтакте, Facebook, Twitter и ЖЖ. Специалист «шерстит» указанные выше социальные сети, плюс — поисковые системы Яндекс, Google, Яндекс блоги, Google блоги, а также отдельно мониторит площадки, на которых отзывы о клиенте встречаются чаще всего. Соответственно, Growth видит более полную картину восприятия клиента конечным потребителем.
Теперь немного цифр, которые говорят о качестве сбора автоматизированными системами. Анализируя содержание самих отзывов, обнаруженных Крибрумом, было найдено 3% лишних отзывов, не содержащих слов-запросов, 5% дублирующихся ссылок (такие отзывы уже получены специалистом вручную). Более того, исследование доказало: руками специалисты Growth собирают на 56% больше, чем автоматизированная система Крибрум.
Коснусь и тональности. Крибрум за весь исследуемый период всего несколько раз правильно определил негатив. В остальном негатив был найден неверно потому, что в тексте присутствовала нецензурная лексика, а мат в русском языке может означать целый спектр эмоций
К сожалению, и в ручном сборе отзывов есть недочеты. Подводит выдача. Она не всегда показывает все отзывы о клиенте сразу, приходится проверять выдачу как минимум на неделю назад. Существуют также ограничения на отображение новых сообщений: например, в Google такое ограничение составляет 100 страниц, дальше не показывает.
Работая с отзывами, компания Growth заботится не только о ценности самой услуги. Мы думаем, в первую очередь, о бизнесе клиента и о его имидже. Подробнее об этом расскажут генеральный директор Growth Наталия Курбатова и Мария Бобрикова, старший специалист по социальным сетям.
Создавая услугу по работе с отзывами в Growth, я, конечно, задавалась вопросом: как это делать? И у ручного, и у автоматизированного сбора есть минусы. Очевидные минусы ручного сбора: трудоемкость и влияние человеческого фактора. Смена специалиста, который отзывы собирает, может принципиально повлиять и на количество найденных отзывов, и на определение тем, и на определение позитива и негатива. Негатив уменьшился, потому что мы поменяли специалиста! Минусы автоматизированного сбора — в неполноте сбора и в малой толике возможной автоматизации. Система, которая находит все или почти все, написанное на русском языке, есть, но ее создавали 17 лет и потратили миллионы долларов. Это Яндекс. Поэтому все системы сбора отзывов используют Яндекс, и, естественно, часть информации при передаче от системы к системе теряется. Каждая система добавляет еще свои уникальные скрипты и пр., которые не столько позволяют собрать все отзывы, сколько добавляют ей уникальности. Но суть дела остается прежней: потеря информации при автоматизированном сборе отзывов бывает всегда. При этом такие системы могут найти вам массу упоминаний («встретимся у Эльдорадо»), но пропустить как раз те самые, в форумах, которые как раз и влияют на продажи. Определение тем и тональности отзывов с помощью автоматизированных систем в русском языке невозможно, как бы вы над этим не бились, точно так же, как невозможно автоматизировать соблазнение женщины (при всем моем уважении к филологическим знаниям господина Ашманова). Это специфика русского языка, он нелогичен по целому ряду причин: метафоричность, несколько принципиальных реформ в грамматике на протяжении его развития, наша ментальность. Нельзя определить автоматом тональность в языке, где в одном предложении может стоять «да нет, наверное». Итог: определение позитива и негатива и тем отзывов (а это самое главное в анализе) все равно придется делать вручную, т.е. изменение статистики в связи со сменой человека, который определял темы и тональность, вам не избежать.
В итоге, первый год мы использовали автоматизированные системы, но вручную дособирали то, что они не нашли. Это был период, когда мы смогли познакомиться со всеми системами поближе, и выяснили еще одну особенность: так как все они не приносят ожидаемых денег своим владельцам, они все достаточно быстро заканчивают тратить силы и на обслуживание, и на совершенствование, что еще более снижает их ценность. Часть из них понимают, что ошиблись с коммерческими ожиданиями, быстро и перестают тратить деньги на маркетинг. Вторая часть тратится на продвижение активно, но это только ухудшает ситуацию. Систему никто не совершенствует, сколько бы вы лично денег не платили, потому что финансовой отдачи от нее для владельцев нет. Те же социальные сети меняются с катастрофической быстротой, и если вы хотите иметь с ними дело, вам придется меняться в том же темпе. Мы убрали из своего бизнес-процесса сбора отзывов автоматизированные системы, потому что специалисты взмолились: просто собирать отзывы руками менее трудозатратно, чем проверять за системой. Для меня было и остается критичным в работе с отзывами — НАЙТИ КАЖДЫЙ ОТЗЫВ, КОТОРЫЙ МОЖЕТ ПОВЛИЯТЬ НА ВАШ БИЗНЕС, поэтому со специалистами согласилась.
Что сейчас есть в нашем бизнес-процессе ручного сбора, чтобы достичь цели НАЙТИ КАЖДЫЙ ОТЗЫВ:
1) Есть проверка полноты сбора. За собирающим специалистом следом идет второй специалист и проверяет все, что первый не нашел. Это позволяет не только найти все отзывы, но и определить причины, по которым основной специалист находит не все, и их откорректировать.
2) Жесткая фиксация, что мы считаем негативом, что позитивом, отдельный контроль определения позитива и негатива по правилам (это делаю лично я как автор продукта 1 раз в месяц по всем таблицам сортировки всех проектов по отзывам) и премирование Менеджеров проектов при условии, что тут нет проблем. Негативом мы считаем отзывы, где есть сравнение с конкурентами не в пользу нашего Клиента, при этом конкурентами авторы могут считать совсем не те компании, которые считает Клиент – иногда наши бабушки дают фору ресторанам и премиум супермаркетам. И второй тип отзывов, относящихся к негативу, – это отзывы, где у автора есть проблема, связанная с использованием продукции Клиента или с взаимодействием с Клиентом. Позитивом мы считаем сравнение с конкурентами в пользу Клиента и любые отзывы с перфектом (превосходной степенью).
К сожалению, так нельзя поступить с тематикой отзывов, так как темы индивидуальны в каждом проекте: в одном проекте к сервису может относиться совсем не то, что в другом. Поэтому тематика остается на ответственности Менеджера проекта (это человек, который обеспечивает работоспособность процесса и сам отзывы не собирает).
Т.о. в оценке позитива-негатива мы имеем двойной контроль, в оценке тем – контроль одного человека.
3) Список площадок, по которым осуществляется сбор информации по Клиенту, помимо поиска Яндекса и Google. На сегодня это чуть больше 20 площадок для всех компаний, и в каждом отдельном случае могут быть дополнительные площадки. Это крайне важно, чтобы не ждать индексации Яндекса на сайтах отзывов, форумах, личных аккаунтах – часто это места самых влиятельных отзывов.
4) Безусловно, есть ответы на отзывы, требующие ответа. На мой взгляд, автоматизированные системы сбора отзывов потерпели крах как раз не потому, что сбор неполный – не все про это думают – а потому, что главная работа не в том, чтобы собрать, а в том, чтобы с этим что-то сделать. От того, что вы обнаружили в зубах дырки, вам легче не станет, к стоматологу- то все равно надо идти. А кто же будет платить за то, что дырки нашли и еще их ковыряют все время, вместо того, чтобы лечить?
Наталия Курбатова. Генеральный директор.
Автоматизированный робот ещё не скоро сможет конкурировать с человеком по качеству сбора отзывов. Особенно, если это относится к русскому языку в вольной форме на каком-нибудь блоге. Задорнов отдыхает! Наши люди не стесняются в выражениях, могут терять основную линию и возвращаться к ней через 2-3 страницы форума, ругательством хвалить, а сарказмом при этом опускать ниже плинтуса, называть бренд не его именем, а каким-нибудь своим и т.д. И это лишь верхушка айсберга. Поэтому мой вывод однозначен: робот может собрать лишь то, что писал другой робот. То, что сказал человек, под силу понять лишь ему подобному
Мария Бобрикова. Старший специалист по социальным сетям.
Мнения о работе с отзывами других экспертов нашей компании читайте очень скоро в следующей статье о втором раунде противостояния «Крибрум против ручной сборки».
Автор Анна Гурьянова
Источник http://www.growth-team.ru/blog/reputation-management/2581/