Что опровергло бы ACM Framework: как проверяют метод работы с брендом

Однажды я примерял рубашку в магазине в центре города. В примерочной она сидела безупречно: ровные плечи, талия там, где нужно, тёплый свет. Я купил её сразу. Дома, в зеркале в прихожей, это была другая рубашка. Только тогда я понял, что зеркало в примерочной делали не для того, чтобы показать мне, как я выгляжу, а чтобы помочь мне купить.

01Как проверяют фреймворк для бренда?

Заранее записывают, какой результат опроверг бы фреймворк. У Матрицы архетипической согласованности (ACM Framework) первые проверки касаются измерения, а не продаж: сначала вы проверяете, точно ли зеркало, и только потом — для чего оно полезно.

Фреймворк, который не может провалить ни одной проверки, похож на зеркало в примерочной. С ним приятно, но ничего правдивого оно не говорит. Любой бренд в нём красив, любая кампания вроде бы сработала. Поэтому ACM Framework заранее записал условия, при которых ему пришлось бы признать, что он не работает.

02Почему сначала зеркало должно быть точным?

Потому что ACM Framework — диагностический инструмент. Он не обещает, что вы будете продавать больше, а обещает показать, где рвётся цепочка, — цифрой, которую можно проверить и повторить.

Кривое зеркало бесполезно, даже если с ним приятно. Точное зеркало остаётся полезным, даже если ничего не предсказывает. В маркетинге услуг есть инструмент, который сорок лет прожил ровно в этой позиции: критики показали, что он предсказывает не лучше других, а авторы сохранили его, потому что он показывает, где проблема. ACM Framework исходит из той же честности.

03Что обрушило бы ACM Framework?

Четыре условия. Если не выполняется хотя бы одно из них, ACM Framework перестаёт быть измерением, и никакая переформулировка его не спасёт: надёжность, стабильность, вариативность и отличие.

• Надёжность: два кодировщика, которые читают один и тот же материал по одному и тому же руководству, должны прийти к близким профилям. Иначе перспективу Делает нельзя измерить, а вместе с ней падает почти всё.
• Стабильность: тот же бренд, измеренный повторно через короткое время, если в нём ничего не изменилось, должен получиться таким же. Если профиль сдвигается сам по себе, любое расстояние — это шум.
• Вариативность: четыре перспективы должны различаться, причём по-разному у разных брендов. Если у всех брендов выходят одинаковые расстояния, инструмент ничего не различает.
• Отличие: согласованность по каналам должна быть чем-то иным, чем уже существующая мера. Иначе мы просто дали новое имя старой вещи.

Порядок не обсуждается. Эти четыре условия проверяются раньше любого вопроса о продажах или предпочтении. Инструмент, который не измеряет стабильно, не стоит проверять на предсказание.

04Что будет, если два кодировщика не сойдутся?

По этому материалу ничего не сообщают, а порог не сдвигают, чтобы получить результат. Обучение повторяют на других материалах и кодируют заново.

Порог записали до того, как был закодирован хоть один реальный материал: в среднем меньше 15 баллов разницы и ни одного материала выше 30. Минимум пятую часть материалов, но не меньше двадцати, читают два человека. Если и со второго раза не получается опуститься ниже порога, это не скрывают. Это и есть первое условие опровержения — сработавшее.

05Может ли ИИ-модель кодировать вместо людей?

Помочь может, но людей не заменяет. Модель получает ровно то же руководство, что и кодировщик-человек, а основной анализ остаётся на кодах людей. Модель подключается как проверка: если результат держится и на её кодах, вывод надёжнее.

Для каждого кодирования, сделанного моделью, сохраняются название модели, версия инструкции и данное ею обоснование. Согласие между моделью и людьми считается на тех же материалах, что и согласие между людьми, чтобы их можно было сравнить напрямую. Если модель оказывается так же близка к людям, как люди друг к другу, она может распространить кодирование на большее число материалов. Но порог для этого записывают заранее, а не устанавливают задним числом.

В примерочной это значило бы проверить новое зеркало, поставив его рядом со старым, на одном и том же человеке, прежде чем вешать его во всех магазинах.

06Что сузило бы утверждения ACM Framework?

Ещё пять условий. Если они не выполняются, инструмент остаётся точным зеркалом, но то, что можно утверждать на его основе, сужается.

Например, если профиль в 100 баллов говорит не больше, чем просто название доминирующего архетипа, честнее считать один архетип. Если два режима расстояний не различаются в данных, их правило отменяется. Если веса ничего не меняют по сравнению с простым средним, их убирают.

Здесь же находится и связь с результатами. Если индекс не связан с предпочтением или доверием, ACM Framework остаётся точным зеркалом, которое ещё не доказало, для чего оно нужно. Это неприятно, но не смертельно. А чтобы связь была убедительной, предпочтение измеряют во второй волне, через несколько недель после первой, а не в той же анкете.

07Что такое определение и что такое утверждение?

Определение — это соглашение о расчёте, его нельзя опровергнуть, можно лишь показать, что оно бесполезно. Утверждение говорит что-то о мире, и для каждого утверждения должно быть записано, какой результат показал бы, что оно неверно.

То, что архетип присутствует, когда превышает равную долю, — определение. То, что направление, в котором отклоняется канал, имеет значение, — утверждение. Разница кажется технической, но она помогает понять, что можно оспорить: определения оценивают по пользе, утверждения — по доказательствам. Утверждение, которое нельзя проверить при существующем дизайне исследования, не остаётся утверждением. Оно либо становится соглашением, либо объявляется гипотезой для следующего исследования.

Смотреть демо →

Та рубашка оказалась в глубине шкафа. Зеркало в примерочной не то чтобы врало, оно просто показало то, что было нужно, чтобы я купил. От инструмента для бренда стоит требовать обратного: заранее сказать, какой результат его опроверг бы. Если он этого не может, вы всё ещё в примерочной.

О примере в статье. Примерочная и рубашка вымышлены. Две ступени опровержения, пороги согласия, правила кодирования с помощью модели и различие между определением и утверждением взяты из опубликованного инструмента ACM Framework.