Генеративный ИИ резко снизил порог входа в рыночную аналитику. Сегодня за несколько часов можно собрать список игроков, сравнить продукты, изучить тренды и получить вполне убедительно выглядящий обзор практически любого сегмента. Возникает закономерный вопрос: зачем в такой ситуации компаниям заказывать профессиональные исследования?
Недавно у нас случился интересный разговор с заказчиком, который активно противопоставлял нашим услугам бесплатный самостоятельный анализ рынка с помощью ИИ.
Мы попробовали воспроизвести этот разговор, переложив его в формат интервью с сооснователем SIZE Marketing Александром Жиляевым. Основная идея в том, чтобы ответить на вопросы:
- где ИИ действительно способен заменить традиционный кабинетный анализ
- почему открытые источники часто дают искаженную картину ИТ-рынка
- в каких случаях без прямого общения с заказчиками и вендорами обойтись невозможно.
Вопрос 1:
Сегодня руководитель может открыть ChatGPT, Perplexity или другой ИИ-инструмент, за несколько часов собрать список игроков рынка, сравнить продукты, найти тренды. Зачем в такой ситуации вообще платить профессиональному исследовательскому агентству?
– Я бы начал с того, что профессиональный анализ рынка нужен не всем. Все зависит от масштаба задачи, специфики сегмента и, главное, от того, как компания собирается использовать результаты.
Для каких-то задач вполне достаточно экспресс-анализа с помощью ИИ. Например, если нужно быстро сориентироваться на рынке: понять, кто основные игроки, какие решения они предлагают, как позиционируют себя, какие темы чаще всего обсуждаются. Здесь ИИ уже очень полезен.
Но совсем другая ситуация возникает, когда речь идет, например, о проверке product-market fit нового программного продукта. Здесь недостаточно собрать информацию о рынке – нужно дойти до потенциального потребителя, поговорить с ним, понять его реальные потребности, специфику использования существующих решений, причины выбора или отказа от них. В результате заказчику может потребоваться сформировать перечень наиболее востребованных функций, определить целевые клиентские сегменты, скорректировать продуктовую или go-to-market стратегию.
Кабинетный анализ через ИИ такой подтвержденной фактуры не даст. Для этого нужны полевые методы – глубинные интервью, экспертные опросы, количественные исследования.
Для меня вообще один из главных критериев очень простой: нужно ли вам систематизировать то, что рынок уже знает, или получить информацию, которой пока нет в публичном поле. В первом случае ИИ может быть очень эффективен. Во втором придется идти в поле.
Вопрос 2:
Сегодня контакты топ-менеджеров и ИТ-руководителей уже не выглядят чем-то недоступным: есть конференции, профессиональные сообщества, Telegram, LinkedIn и другие каналы. Почему вы считаете собственную базу экспертов конкурентным преимуществом, а не просто удобным способом быстрее набрать выборку?
– Мы считаем нашу базу экспертов одним из наиболее ценных наших активов.
У нас изначально был достаточно сильный нетворк: команда SIZE Marketing – выходцы из российского бизнеса SAP. А дальше база постоянно расширялась за счет исследовательских проектов. За последние три года мы провели более 70 таких проектов, и практически каждый из них добавляет новые контакты экспертов.
В основном это руководители среднего и высшего звена крупного бизнеса. Многие готовы делиться с нами информацией взамен на аналитику, результаты исследований, возможность увидеть более широкую картину рынка.
Это позволяет достаточно быстро найти релевантного человека и получить информацию из первых рук: что реально происходит внутри организации, как компания относится к той или иной технологии, какие инструменты использует сегодня, что планирует менять, какие платформы рассматривает.
Причем важно не просто найти «кого-нибудь из крупной компании», а понять, кто внутри организации действительно компетентен отвечать именно на этот вопрос. CIO может хорошо видеть общую ИТ-стратегию, но детали эксплуатации конкретного продукта иногда лучше знает архитектор, руководитель платформенной команды или владелец определенного бизнес-процесса.
Есть и фактор доверия. В публичном пространстве компании значительно охотнее рассказывают об успехах. В исследовательском интервью эксперт может подробнее объяснить, почему не удался пилот, почему отказались от поставщика, какие ограничения обнаружились при эксплуатации. Именно такие детали часто и оказываются наиболее ценными.
– Но ведь ИИ работает не с одним сайтом вендора. Он может сопоставить документацию, кейсы, обзоры, публикации СМИ, отзывы пользователей и десятки других источников. Почему такого массива публичной информации все равно недостаточно, чтобы получить объективную картину рынка и зрелости конкретных продуктов?
– Здесь есть несколько существенных нюансов.
Первый особенно актуален для российского рынка. Во многих сегментах сейчас продолжается активная перестройка после ухода зарубежных поставщиков. В отдельных классах систем российские продукты еще находятся на достаточно ранних стадиях развития и поэтому очень быстро меняются.
Мы регулярно видим это в проектах конкурентного анализа и vendor scouting. Общение с разработчиками показывает, что публичные материалы и документация нередко обновляются с существенным опозданием. Иногда отставание составляет полгода и более.
За это время у продукта может появиться новый модуль, серьезно измениться архитектура, добавиться функциональность, завершиться несколько пилотных проектов. Но на сайте все еще будет описана предыдущая версия продукта.
В результате кабинетный анализ, основанный только на публичных материалах, может неправильно оценить функциональную полноту, технологическую зрелость решения или реальный опыт внедрений.
Кроме того, публичная информация сама по себе асимметрична. Вендоры рассказывают об успешных запусках, новых клиентах, развитии продукта. Значительно реже публичными становятся неудачные пилоты, затянувшиеся проекты, отказ заказчика от решения или проблемы эксплуатации.
То есть открытые источники дают не просто неполную – иногда они дают систематически смещенную в сторону успехов картину.
Вопрос 3:
А если речь идет о совсем новых технологиях и новых классах систем?
– Здесь проблема становится еще заметнее.
По новым технологиям публичных материалов просто мало. Еще не сформировался стандартный подход к разработке и внедрению, иногда нет даже устоявшегося глоссария. Данные о сценариях применения, практиках и реальных проектах очень ограничены.
На рынке может одновременно идти множество пилотов, при этом публичных кейсов успешных внедрений практически нет.
ИИ в такой ситуации упирается в информационный дефицит. И дальше появляется риск, что модель начинает строить картину на основе нескольких доступных экспертных публикаций.
А это уже может серьезно искажать анализ.
Прямое общение с участниками таких проектов здесь практически незаменимо. Можно узнать, что реально тестируется, какие сценарии работают, какие не работают, где компании находятся только на стадии экспериментов и что они сами думают о перспективах технологии.
Этой информации у ИИ просто нет, пока кто-то не вынес ее в публичное поле.
Вопрос 4:
Но разве ИИ не решает эту проблему за счет масштаба? Он способен обработать сотни или тысячи публикаций и увидеть общую картину лучше отдельного аналитика. Почему множество источников не гарантирует более объективного вывода?
– Потому что особенно в слабо изученных областях множество публикаций еще не означает множество независимых мнений.
Допустим, появляется одна сильная экспертная статья с ярким тезисом. Ее цитируют СМИ, потом она попадает в дайджесты, телеграм-каналы, презентации конференций. Спикеры начинают повторять ту же мысль как уже устоявшееся экспертное мнение.
В итоге в интернете появляется множество документов, которые формально выглядят как разные источники, но фактически восходят к одной первоначальной точке зрения.
ИИ может синтезировать все это и представить пользователю как некий консенсус рынка.
Я бы сформулировал проблему так: ИИ зачастую видит распространенность мнения в информационном пространстве, но это совсем не то же самое, что распространенность мнения на рынке.
Работа с живым экспертным сообществом позволяет быстро проверить такую гипотезу. То, что после кабинетного анализа выглядит как практически аксиома, после десяти-пятнадцати интервью иногда оказывается частным мнением одного яркого эксперта.
И важно сказать, что сама эта проблема существовала и до появления генеративного ИИ. Обычный кабинетный аналитик тоже может попасть в такую ловушку. Просто ИИ умеет очень быстро и убедительно собирать множество вторичных упоминаний в единый связный вывод, поэтому риск становится менее заметным для пользователя.
Вопрос 5:
Но опыт тоже может стать источником предвзятости. После десятков проектов аналитик рискует видеть знакомые паттерны там, где рынок уже изменился, и подгонять новую ситуацию под прошлый опыт. Почему ваша «насмотренность» в таком случае должна быть преимуществом, а не ограничением?
– Очень сильно влияет именно то, как этой насмотренностью пользоваться.
Во-первых, она позволяет проводить аналогии и видеть похожие паттерны на разных рынках.
Во-вторых, мы можем быстро проверять гипотезы с учетом информации из предыдущих проектов. Иногда заказчик приходит с определенной постановкой задачи, а мы уже по своему недавнему опыту понимаем, что часть гипотез можно подтвердить или опровергнуть практически сразу.
Бывает и так, что мы рекомендуем изменить сам дизайн исследования. Например, говорим, что выбранный способ сбора данных в конкретной ситуации, скорее всего, не даст нужного результата, и предлагаем другой.
В этом, на мой взгляд, одна из важных функций опытного исследователя: не просто искать ответы на вопросы заказчика, а еще до начала проекта проверить, правильные ли вообще вопросы он задает.
Клиент, например, хочет узнать, какой функционал нужно добавить продукту. А после нескольких интервью может выясниться, что функциональность вообще не является главным барьером. Проблема может быть в стоимости, модели поставки, сложности интеграции, отсутствии референсов или недостаточном доверии к вендору.
Ну и достаточно часто у нас уже есть часть готовых ответов на вопросы заказчика. В таких случаях нет смысла заново проводить весь цикл исследования: мы можем использовать накопленную экспертизу и предоставить результат быстрее и дешевле.
Вопрос 6:
То есть вы сами при этом активно используете ИИ?
– Конечно. Я вообще не рассматриваю ситуацию как противостояние исследователя и искусственного интеллекта.
ИИ не заменяет профессионального исследователя – он дает ему большую производительность.
В нашей работе он хорошо помогает с поисковыми задачами, редактурой, обработкой аудио и стенограмм.
В каждом проекте мы можем проводить десятки интервью. Их нужно расшифровать, выделить важные мысли, разметить темы и инсайты, сопоставить ответы разных респондентов. Ручной первичный разбор такого объема материала занимает очень много времени.
За последние пару лет мы выработали собственный подход к работе с моделями и вышли на достаточно хорошее качество разбора интервью. ИИ помогает делать первичное тематическое кодирование, искать повторяющиеся паттерны, нормализовать формулировки.
Но полностью автоматизировать этот этап пока нельзя.
Модель часто не видит важные побочные инсайты, которые могут менять интерпретацию ответа. Респондент ведь далеко не всегда отвечает прямо. Он может уйти от ответа, привести пример из жизни, рассказать смежную историю, и для опытного интервьюера эта история иногда говорит больше, чем формальный ответ на вопрос.
ИИ может пометить такой фрагмент как нерелевантный. Человек, который глубоко погружен в тему, наоборот, поймет, что именно здесь находится ключевой инсайт.
Поэтому сборку тезисов, формулирование выводов и итоговые отчеты мы пока делаем сами.
Кстати, на эту тему у нас произошел забавный случай. В прошлом году заказчик получил от нас отчет, который был полностью собран вручную. ИИ в этом проекте вообще не использовался.
Заказчик решил нас проверить и пропустил текст через AI-detector, и тот показал порядка 70% вероятности ИИ-генерации текста.
Аргументация была замечательная: текст хорошо структурирован, практически не содержит ошибок, аналитические выводы несколько раз последовательно повторяются и детализируются.
Так что теперь у профессионального аналитика появляется еще одна задача – попробуй докажи, что ты не ИИ.
Вопрос 7:
Но тогда возникает вопрос доверия. Если человек делает исследование самостоятельно с помощью генеративного ИИ, он получает красивый и убедительный ответ, но не всегда понимает, где твердый факт, а где интерпретация. Как вы обеспечиваете проверяемость собственных выводов?
– Мы стараемся максимально прозрачно выстраивать всю логику проекта.
Вместе с заказчиком формируем требования к выборке, иногда поименно согласовываем экспертов для полевого этапа. На каждой стадии показываем промежуточные результаты.
По сути каждый существенный вывод итогового отчета можно как клубок ниток «распутать» назад – на отдельные наблюдения, тезисы респондентов, данные кабинетного анализа.
Более того, мы сопоставляем разные типы источников. Если вывод подтверждается интервью заказчиков, информацией от вендоров и результатами кабинетного анализа, уровень уверенности в нем, естественно, выше.
При этом противоречие между источниками само по себе может быть важным результатом.
Иногда правильный вывод исследования – не «рынок считает X», а, например, «крупные компании в основном придерживаются позиции X, тогда как средние компании чаще говорят Y».
Работа аналитика состоит не в том, чтобы любой ценой получить один красивый и однозначный ответ, а в том, чтобы корректно описать реальную структуру мнений.
Вопрос 8:
Профессиональный аналитик ведь тоже может ошибиться. Чем тогда принципиально отличается его ошибка от ошибки ИИ?
– Конечно, аналитик может ошибаться. Исследование вообще не является способом получить абсолютную истину.
Разница скорее в управляемости и проверяемости ошибки.
В хорошем исследовании заранее понятна методология: кого мы опросили, почему выбрали именно этих людей, какие вопросы задавали, какие данные использовали и на чем основан вывод.
Поэтому предположение аналитика можно проверить, оспорить или дополнительно протестировать.
При работе с генеративным ИИ пользователь часто получает уже синтезированный ответ, но не всегда может понять, опирается ли определенный тезис на пять независимых источников или фактически на одну публикацию, которую потом десять раз перепечатали.
Есть и еще один момент. Профессиональный исследователь должен уметь обозначать степень уверенности в выводе и границы применимости данных, а не создавать видимость большей определенности, чем позволяют исходные материалы.
Поэтому преимущество профессионального исследования не в том, что аналитик якобы никогда не ошибается. Оно в том, что мы можем показать происхождение вывода, оценить степень уверенности в нем и при необходимости пройти всю цепочку рассуждений обратно до исходных данных.
Вопрос 9:
ИИ при этом быстрый и практически бесплатный. Когда попытка сэкономить на профессиональном исследовании превращается в ложную экономию?
– Здесь главный вопрос – для чего будут использоваться результаты.
Если речь идет об инвестициях в разработку продукта, формировании маркетинговой стратегии, позиционировании решения, выборе целевой аудитории или тактик выхода на рынок, цена ошибки может быть очень высокой.
Причем она состоит не только из прямых затрат.
Неправильно выбранный сегмент или ошибочная продуктовая гипотеза иногда обнаруживаются через год или полтора после начала разработки. И стоимость потерянного времени может оказаться выше стоимости самого исследования.
Поэтому расходы на аналитику правильнее сравнивать не с нулем, а со стоимостью решения, которое компания собирается на основании этой аналитики принять.
Если вы планируете инвестировать десятки или сотни миллионов рублей в новый программный продукт, решение сэкономить на проверке product-market fit выглядит достаточно странно.
Вопрос 10:
Есть ли простой способ понять: в каких случаях достаточно самостоятельного анализа через ИИ, а когда уже стоит идти к профессиональным исследователям?
– Я бы посмотрел на четыре вещи.
Первое – цена ошибки. Если вы просто хотите получить общее представление о рынке, небольшая погрешность некритична. Если на результате основывается инвестиционное, продуктовое или стратегическое решение, требования к качеству данных уже совсем другие.
Второе – существует ли нужный вам ответ в открытых источниках. Если задача состоит в том, чтобы определить основных игроков, посмотреть их публичное позиционирование, сравнить базовый функционал, я бы сам сначала рекомендовал использовать ИИ. Заказывать для этого полноценное исследование действительно может быть избыточно.
Третье – нужно ли вам узнать то, чего в интернете пока нет. Например, планы компаний, причины выбора и отказа от продуктов, реальные проблемы эксплуатации, потребности пользователей, результаты непубличных пилотов. Здесь придется разговаривать с рынком.
И четвертое – насколько быстро меняется изучаемый сегмент. Чем моложе технология и чем динамичнее рынок, тем быстрее устаревает его публичный информационный след и тем выше ценность первичных данных.
Поэтому я совершенно нормально отношусь к тому, что компания сначала сама делает экспресс-анализ с использованием ИИ. Более того, во многих случаях это разумный первый шаг.
А профессиональных исследователей имеет смысл подключать тогда, когда заканчиваются возможности существующего информационного поля.
Если совсем коротко сформулировать принцип:
Если вам нужно узнать, что написано о рынке, начните с ИИ. Если нужно узнать, что на рынке происходит на самом деле, скорее всего, придется разговаривать с самим рынком.
