Можно ли доверять «Гильдии маркетологов»?

Михаил Дымшиц,генеральный директор консалтинговой фирмы «Дымшиц и партнеры»

На сайте «Гильдии маркетологов» под гордым словом «Миссия» написано, что эта организация считает своим долгом много всего хорошего, в том числе «…личному профессиональному росту членов Гильдии…» и «…внедрения современных социально-этичных методов ведения конкурентной борьбы». Цели достойные, но практическая деятельности Гильдии ставит под большое сомнение соответствие её деятельности не только упомянутым параметрам, но даже наличие у руководства Гильдии в лице И.С.Березина элементарной профессиональной добросовестности и необходимого профессионального уровня. И в качестве примера мы рассмотрим исследование, проведенное Гильдией об известности имении «Гэллап» в России в октябре 2003 года по заказу юридической компании «Бейкер и Макензи».

В течении нескольких лет время от времени рекламную и медийную общественность развлекают сообщения об очередном раунде судебных процедур по поводу прав на использование имени «Гэллап» на территории России. Кто в этой ситуации прав и имеет больше прав, нас сейчас не интересует, но в качестве доказательства прав одной из сторон суду был предоставлен «Отчет о проведении исследования известности имени «Гэллап» (Gallup) в России», с частью которого широкая общественность может ознакомиться в одной из книг И.С.Березина. В выводах этого отчета утверждается, что около 25% взрослых  жителей крупных городов с высшим образованием знают или слышали название Гэллап, и что 40% из них утверждают, что слышали это название более 10 лет назад. При этом следует учитывать, что опрашивались лица 34-59 лет, что определялось задачами исследования:  было необходимо замерить срок осведомленности о названии «Гэллап». Дело в том, что еще в апреле 1997 года Социологический факультет представил Экспертное заключение «Известность фирменного наименования Геллап на территории Российской Федерации», в котором в частности утверждалось, что «Развитие социологического образования в СССР с 1960-х годов давало возможность значительному кругу студентов узнавать об исследованиях Дж.Гэллапа».

А теперь посмотрим на результаты исследования. Прежде всего, обращает на себя внимание время проведения опроса – октябрь 200 3 года. Простой запрос мониторинга СМИ нам покажет, что опрос был проведен СРАЗУ ЖЕ  после массированной PR-кампании, посвященной Гэллапу (график 1). Это сразу ставит под сомнение цифру в 25% осведомленных о наименовании компании, оказывающей узкопрофессиональные услуги крайне ограниченному кругу лиц и организаций. И в качестве доказательства «наведенности» полученной цифры мы рассмотрим полученные данные под «географическим углом».

График 1. Частота упоминания слов «Гэллап, Геллап» в российской прессе в 1999-2005 гг.

Всего Гильдией было опрошено по телефону 1000 человек, в том числе 500 в Москве, 200 в Санкт-Петербурге и по 100 в Екатеринбурге, Нижнем Новгороде и Новосибирске. В предоставленном отчете сообщается, что уровень осведомленности о Гэллапе составил 30% в Москве, 25% в Санкт-Петербурге, 18% в Екатеринбурге, 15% в Новосибирске и 11% в Нижнем Новгороде. Откуда же такое, почти в 3 раза, различие в осведомленности о Гэллапе в пяти городах, если считать, что осведомленность о нем была сформирована еще во времена СССР в рамках строго однообразного образования и довольно равномерного чтения общесоюзных газет в крупных городах? Но если сравнить данные, полученные по городам с общей аудиторией привлеченных в июле-октябре 2003 года к PR-кампании изданий в этих же городах (по данным «TNS - Гэллап Медиа»), становиться ясно, что этот уровень «осведомленности» был сформирован упомянутой PR-кампанией (см. график 2; в расчеты охвата не включены местные издания, радиостанции и сайты Интернета).

График 2. Подсказанный уровень известности и общий охват (Reach) изданий в городах исследования. 

Кроме того, такие территориальные различия позволяют отвергнуть Экспертное заключение соцфака МГУ по возможности формирования осведомленности о Гэллапе в процессе обучения и средствами массовой информации советского периода: однообразные программы и учебные пособия, а также сравнительно равномерный уровень проникновения центральных изданий в определенные социальные группы в советский период (это обеспечивалось разнарядкой на подписку) должны были сформировать равный уровень осведомленности о наименовании во всех городах опроса. Кроме того, если бы на осведомленность о Гэллапе влияло полученное в советский период образование, то у людей с высшим техническим образованием уровень осведомленности должен был быть меньше, чем у лиц с гуманитарным образованием, а по данным опроса Гильдии, они равны. Это дополнительный аргумент в пользу того, что осведомленность о Гэллапе была сформирована упомянутой PR-компанией.

Кроме того, в полученных результатах вызывает большое сомнение возможность людей правильно идентифицировать время таких малозначимых для них событий, как первое знакомство с той или иной фамилией или названием организацией, которая никак не связана с их повседневной жизнью и ничем, даже потенциально, им не угрожает. Разнообразные исследования, наиболее широко известны исследования во Франции, демонстрируют значительные искажения памяти людей о позициях по тем или иным вопросам или представления о своей осведомленности о тех или иных событиях, которые позже были признаны значимыми (во Франции такими событиями является поведение во время оккупации в 1940-44 гг. и «слушание» выступление де Голля после эвакуации из Денвера; в советской политической культуре известны толпы несших с В.И.Лениным бревно во время субботника в Кремле и, более позднего периода, защитников «Малой земли» вместе с Л.И.Брежневым). Российские исследования же демонстрируют, что 45% москвичей могут легко дать оценку объективности НТВ во время путча августа 1991 года и 51% затрудняются дать оценку «за давностью лет» и только 3,6% отвечают, что в 1991 году НТВ еще не было. Также 2/3 опрашиваемых уверенно оценивают изменение качества продукции компании «Вимм-Билль-Данн» по сравнению с 1991 годом, пятая часть уклоняется от ответа и только 5,8% опрошенных указывают, что компания в то время еще не существовала.

Приведенные данные уже позволяют очень сильно сомневаться в профессиональной добросовестности руководства Гильдии, а тем более в профессионализме и соблюдении этики при проведении и интерпретации полученных данных. Но еще больше вопросов о профессионализме возникает при анализе анкеты опроса, а также данные о структуре опрошенных:

1. При изучении подсказанного знания «западных компаний» в России Гильдия спрашивала об осведомленности только 5 компаний, в том числе такой компании как «Рисерч Интернэшнл», название которой не обладает ни малейшей различительной способностью, так как если не коммерческие организации, но хотя бы журналы и инициативные группы с таким названием существуют чуть ли не во всех областях науки.
2. Определенный интерес представляют данные, полученные при опросе по компании «Маккинзи» (29%), особенно учитывая тот факт, что в приветствии интервью респондентам сообщалось, что исследование проводиться по заказу компании «Бейкер и Макензи». Сомневаюсь, что среднероссийское ухо, даже принадлежащее лицу с высшим образованием, способно различить «Макензи» и «Маккинзи» при произношении. Сравнивая 29% осведомленности «Маккинзи» после, фактически, подсказки и 25% осведомленности «Гэллап» возникает стойкое ощущение какого-то или несоответствия данных или подозрение в не очень добросовестном поведении интервьюеров, которые что-то могли добавить «от себя» к усилиям PR-компании. Особенно это касается проводивших исследование в Москве, так как только в этом городе знание «Гэллап» оказалось выше подсказанного «Маккинзи» (30% и 27% соответственно), по сравнению с небольшим лидерством «Маккинзи» в Санкт-Петербурге (31% по сравнению с 25%) и более чем двухкратным разрывом в трех других городах.  Любой исследователь обратит внимание, что колебания осведомленности по «Маккинзи» и «Рисерч Интернэшнл» практически укладываются в доверительный интервал (тем более учитывая, что в трех городах было опрошено всего по 100 человек), а вот колебания по «Гэллап» гораздо более значительные и должны были бы как-то объяснены Гильдией. Но это сделано не было.

3. Удивляет, что при изучении подсказанной осведомленности Гильдией использовался список всего из 5 наименований (такой маленький список сам по себе завывает уровень «подсказанной осведомленности»), а также, что в список не были включены наименования других социологических компаний и организаций (например, ESOMAR, РОМИР, название которой также может восприниматься как иностранное). Кроме того, удивляет отсутствие в списке фамилий других социологов, в том числе тех, которые упоминались в курсе социологии в советский период, например, фирмы Харриса, которая в учебном курсе  и научных работах по целому ряду причин упоминалась в советский период чаще Гэллапа.
4. Гильдию не удивило незначительное различие в осведомленности о Гэллапе опрошенных, работающих в «Исследованиях, рекламе, PR, консалтинг» (32%) по сравнению с осведомленностью в 26% у представителей «торговли, общественное питание, сфера обслуживания» и 23% у представителей «госслужбы, охраны правопорядка, военная служба» и 23% у «образование, здравоохранение, наука, культура, спорт». Казалось бы, если бы осведомленность о Гэллапе формировалась в советское время, у представителей «образования, культура» осведомленность должны была бы быть выше и сравнима с работниками «исследований и рекламы», да и у тех должно было бы быть куда более высокая осведомленность о человеке, внесшем значительный вклад в разработку методов исследования.
5. Удивляет значительное различие в осведомленности о «Гэллапе» мужчин и женщин: 39% и 17% соответственно. Гильдия не дает никаких объяснений на этот счет, но, скорее всего, оно уже объясняется различиями в интересах к темам в СМИ, так как охваты используемых в PR-компании СМИ различаются не столь сильно.
6. Отдельное удивление вызывает значительное доминирование женщин в опросе: они составили 2/3 опрошенных. Налицо значительный перекос выборки, который в первоначальном отчете объяснялся гораздо большей доступностью женщин по телефону (с таким аргументом спорить сложно), но он демонстрирует нарушение процедур отбора при телефонном опросе на последнем этапе (определение члена домохозяйства для опроса). Да и вообще, соотношение мужчин и женщин с высшим образованием в возрастах 35-59 лет составляет 45:55, а не 66:34, как в выборке Гильдии.

И это не все огрехи и недоразумения, совершенные Гильдией при проведения исследования, используемого в последствии в суде. Что это, элементарная профессиональная безграмотность или в той или иной степени сознательное введение суда в заблуждение, меня сейчас интересует мало.

Но становиться ясно, что доверять Гильдии маркетологов НЕЛЬЗЯ!