Исследование аудитории с помощью ИИ-интервьюера онлайн-школы «Мама Знайка»

Однажды к нам пришел заказчик, это была онлайн-школа «Мама Знайка», они обучают педагогов и родителей тому, как лучше обучать детей. Запрос: “нужны идеи продуктов для уже состоявшейся базы, идеи для улучшения маркетинговой коммуникации”.

Они хотели актуализировать знания о своей аудитории, и лучше понять аудиторию: да, были результаты прошлых исследований, но казалось, что они устарели.

Имея большую, формировавшуюся годами базу, они как нельзя лучше подходили под исследование через AI-ассистента-кастдевера. Исследование происходит на стыке качественных и количественных, на выходе мы получаем как качественные данные (инсайты о болях, проблемах, стремлениях и прочем), так и количественные (процентную разбивку по этим данным, условно “боль 1” у 43% аудитории, а “боль 2” - всего у 14%. Это значит что “боль 1” преобладает и более триггерная для аудитории.

Итак, вперед, что из этого вышло.

Самое первое: мы должны были погрузиться в продукты. Прошлись по всем лендам/сайтам, пробежали все маркетинговые воронки, подняли все старые исследования, прочекали всю коммуникацию с аудиторией, углубились в текущую сегментацию.

Забрифовали клиента, расставили цели, декомпозировали их на задачи и приступили к работе.

Далее: сформировали скрипт из 21 вопроса и согласовали с командой

Так как мы провели уже миллион (возможно чуть меньше, не намного) глубинок, мы полностью понимаем, как составлять гайды под интервью.

Да, интервью в переписке это не то же самое, тут есть ряд особенностей. Например внимание пользователя к чату сохраняется около 15 минут, и чем дольше диалог, тем меньше людей доходит до конца.

Но мы к этому готовы и знаем эти нюансы, знаем как делать как надо (как не надо - тоже знаем).

К текущему моменту у нас уже была выстроена платформа, наша собственная разработка, на базе которой работал наш бот. Мы запускали его в Телеграме, все проекты были реализованы на ChatGPT, выбирали самые актуальные версии на момент исследования.

Мы загрузили наш скрипт в бота, который как раз укладывался в 15-16 минут разговора.

Были также сформированы 18 принципов общения бота с человеком: для нас было важно, чтобы AI-кастдевер углублялся в суть вопроса, копал в глубину, уточнял, если пользователь отвечал односложно, возвращал к вопросам, проявлял эмпатию, был вежлиым и мотивирующим к ответам.

Для привлечения пользователей в бота мы использовали емейл, рассылки по базе в ВК и ТГ. Составили для них письма, но финальную редактуру оставили на стороне заказчика. Пользователей привлекали через лид-магнит.

Один из этапов работы - тестовая рассылка на небольшую часть аудитории, она нужна для того, чтобы убедиться в правильности вопросов, все ли необходимые данные мы получаем из интервью, все ли нам хватает, а также как ведут себя подписчики. После тестов, если необходимо, дорабатываем скрипт и исправляем ошибки.

Финально у нас уходило по три письма на каждый канал, в которых призывали пообщаться с ботом. Переписка шла отлично, никаких ошибок или сбоев. Все шло хорошо, завершаемость была отличная, все были довольны =)

А вот тут уже началось.

Объем данных получился гораздо большим, чем мы ожидали. 28000 строк сырых данных – это все диалоги наших респондентов с AI-исследователем, причем каждая строка - это вопрос от бота и ответ от респондента. И это все предстояло проанализировать.

С таким объемом человек не справится.

Не справилась и наша методология, которую мы использовали на других проектах до этого.

Почему? Потому что она ломалась на таких больших объемах.

Перед нами встал вопрос: а что делать?

Мы попробовали запихнуть всю сырую таблицу в несколько нейронок, с которыми работали, но все они отказались анализировать. ChatGPT, например, из всей базы брал только 30 человек, анализировал их, а всех остальных пользователей считал несуществующими. Gemini делал также, но остальных не просто вычеркивал, а придумывал заново (галлюцинации). Другие поступали примерно также.

Вывод: контекстное окно не дает гарантии того, что нейронка сможет отработать корректно.

Вывод для нашей команды: все фигня, надо переделывать

Далее мы попробовали упростить для нейронки задачу, и придумали отдавать ей сразу аватары пользователей. Мы разбили базу на пачки по 30 человек и просили у ИИшки составить портрет каждого пользователя по определенной структуре.

Получилось муторно, долго, но правдиво: у каждого пользователя был свой портрет, с которым можно было работать.

Для чего все это: у нас была гипотеза, что с портретами нейронка справится лучше, чем с отдельными строками в таблице.

Но она себя не подтвердила: по итогу мы сделали много лишних телодвижений, потратили еще одну неделю и кучу сил, но так и не смогли заставить нейронки отдать нам внятный и корректный анализ, все результаты были либо поверхностными, либо галлюцинациями, и не проходили проверок.

Мы опять вернулись к “Все фигня, переделывай”

Все следующие гипотезы давали нам такие поверхностные, невнятные результаты, которыми мы были недовольны. Казалось, что в процессе анализа мы потеряли глубину, потеряли что-то важное, потеряли глубинные смыслы и сущностный контекст - то, ради чего и делают такие исследования.

В целом, даже такой результат можно было назвать результатом. Там также были инсайты, также была информация об аудитории, он был расписан по всем болям/потребностям/стоп-факторам, но суть была пустой. Мы очень устали от проекта, хотелось сдать его поскорее, мы реально упоролись. Хотелось отдать такой результат, но мы не стали.

Накануне отчетной встречи с презентацией результатов мы честно признались заказчику, что результат – ерунда, мы им недовольны, и не можем отдавать такое.

И начали анализ заново...

Признав собственную некомпетентность в работе с большими объемами неструктурированных данных, мы поняли, что мы в тупике. Пришлось дать себе отчет в том, что мы чего-то не знаем.

Наступило время роста. И мы пошли ресерчить рынок и брать консультации.

После серии встреч с лидерами в направлении анализа, обработки данных, работы с нейросетями, мы начали нащупывать верную дорогу.

Решение, к которому пришли - работать прямо в гугл-таблице, превратив ее в нашу базу данных, а также подключить через скрипты по API все наши любимые нейронки, каждую из которых превратили в агента еще до того, как это стало мейнстримом.

Итак, по шагам!

Изначально имелось 28к строк, где каждая строка - это вопрос и ответ пользователя.

Мы собрали каждый диалог пользователя в одной ячейке, таким образом сократили количество строк до 696, т.е. получили 696 диалогов пользователей.

Через несколько итераций мы собрали AI-агента прямо внутри нашей таблицы, который выдавал итоговый портрет по каждому пользователю со всеми характеристиками: боли, потребности, стоп-факторы и другое. Причем добились того, чтобы он интерпретировал ответы в сочетании с вопросами, а не пытался составить общую характеристику на основе только сказанного пользователем. Поверьте, это очень важно, в данном случае контекст решает многое.

В прошлый раз мы сгружали портреты пользователей для анализа целиком, но в этот раз мы решили разбить каждую характеристику по каждому пользователю в отдельную ячейку в таблице.

Это для того, чтобы можно было отдельно анализировать нужные нам характеристики, включать или исключать их из анализа, не перегружая контекстное окно нейронки. Это исключало галлюцинации и дало нужную глубину данных.

Если ничего не понятно, то вот скриншот, хотя и там не особо понятно =)

Далее мы определились с сегментами. Разбивали по ключевому результату, к которому хочет прийти человек. Получили 9 основных сегментов.

Теперь по каждому полученному сегменту мы анализировали каждую из характеристик: отдельно проблемы сегмента 1, отдельно потребности сегмента 1, отдельно методы решения проблемы сегмента 1 и так далее.

По итогу вышел анализ каждого сегмента с подтверждающими цитатами.

Также мы выводили процентное соотношение по каждому тезису: какая боль встречается чаще, какая - реже, и так далее. Поэтому мы сразу знаем, что отзывается у аудитории, что для нее значимо, а что – нет.

Более подробно на скрине

Теперь мы имеем полный анализ имеющейся базы школы «Мама Знайка», с описанием всех сегментов.

А дальше мы сформировали продуктовые гипотезы, в том числе и идеи новых продуктов, прописали идеи по контенту, по лид-магнитам, по воронкам.

Ну и передали все команде «Мама Знайка», конечно же.

Подготовили отчеты:

• Карта целевой аудитории
• Идеи по контенту
• Рекомендации по актуализации продуктовой линейки
• Рекомендации по улушению воронки продаж

(как выглядят отчеты может показать при личном созвоне)

Потрачено времени: месяц

Потрачено сил: очень много

Получено: новая методология, бесценный опыт, детально изученная база клиента.

Таким образом мы прошли путь от наивной, но надежной и эффективной команды до поседевшей, но такой же надежной и эффективной команды, улучшили нашу методологию и нашу услугу.

И если проходить огонь и воду, только в таком формате и с таким результатом.

А кстати, знаете в чем еще наша супер-сила?
Мы сами маркетологи и владельцы продукта, поэтому знаем, как применять результаты исследований, и можем дать еще серию встреч, чтобы законсалтить и помочь во внедрении результатов, вот так