UX Feedback · Принципы обработки фидбека

Сигналы

Фидбека всегда много — но в сыром виде с ним сложно работать. Комментарий приходит, и прежде чем кто-то решит что с ним делать, делать ли вообще и когда — проходит время. Часть теряется, часть зависает без ответа.

Система разбивает каждый комментарий на отдельные наблюдения — сигналы — и сразу даёт каждому формулировку, тип и контекст. Решение о следующем шаге видно без дополнительной разборки.

Сигналы и темы — базовый слой. На них строится сравнение сегментов, поиск паттернов и всё остальное в системе.

01 Из комментария в сигнал

Сигнал — минимальная единица наблюдения: одна мысль, один факт, одна реакция. Сигнал создаётся с первого упоминания. Один комментарий может содержать несколько сигналов.

«Фильтры не работают, ничего не фильтрует. Мало фильтров для выбора»
→
Не работают фильтры не работает
Не хватает фильтров предлагаю
«Не понимаю, что имеется в виду ширина, а что длина. Нет фильтра по размеру дивана»
→
Непонятно что такое длина/ширина/глубина неудобно
Нет фильтра по размеру дивана предлагаю
«Всё ок»
→
нет конкретного наблюдения неразмеченный
Сигнал не формируется если ответ:
только стоп-слова — «ок», «нет», «ага» эмоция без объекта — «ужасно», «круто», «офигенно» клавиатурный мусор — «пфтбкф» меньше 4 букв
02 Анатомия одного сигнала

Сигнал формулируется как глагол + объект — по аналогии с заголовком задачи в Jira. Боль и действие живут в сигнале, не в теме.

Объект сначала ищется в тексте комментария. Если не найден — смотрим на вопрос, на который отвечал пользователь, и другие ответы в опросе: это помогает распознать короткие или неоднозначные ответы. Если объект так и не определился — сигнал не создаётся, комментарий попадает в Неразмеченное.

✓ не работают фильтры ✗ проблемы с фильтрами
Сигнал
Не работают фильтры
Тип сигнала
Не работает
Частота
18
пользователей упомянули
Сегмент
Критики · 11 · 60% Researchers · 5 · 25% Product managers · 2 · 15%
Цитаты
Фильтры не работают, ничего не фильтрует
Не работает фильтр. Выбираю кровать
Сайт плохо работает на мобильном устройстве, невозможно выбрать фильтры
03 Типы сигналов

Тип отражает намерение пользователя за высказыванием. Он определяет кому сигнал передаётся внутри команды и как учитывается при расстановке приоритетов.

Четыре типа покрывают весь спектр намерений — от сломанного до восхищённого. Каждый тип определяет следующий шаг без дополнительной интерпретации.

Не работает
Сломано или неприемлемо медленно
Инженеры
Неудобно
Работает, но мешает, раздражает или непонятно как пользоваться
Дизайнер
Предлагаю
Хочет чего-то нового
Продуктовый беклог
Нравится
Позитивный сигнал с конкретным объектом. Без объекта — не сигнал.
Сигнал силы
04 Из сигналов в тему

Сигнал формируется из одного упоминания. Когда таких похожих сигналов накапливается 4 и больше — они объединяются в тему. Меньше 4 — сигналы остаются одиночками и в тему не складываются.

Тема — это область продукта, не боль. Название темы — существительное-объект: Отчёты, Фильтры, Онбординг. Темы стабильны — они не меняются с каждым батчем фидбека, сигналы внутри них меняются.

Тема
Фильтры
Критики · 60% Researchers · 25% Product managers · 15%
35
сигнала
60%
предлагаю
Не работают фильтры не работает ×12
Не хватает фильтров предлагаю ×9
Нет фильтра по размерам предлагаю ×8
Непонятно что такое длина/ширина/глубина неудобно ×6
Неразмеченное
Из комментария не удалось извлечь ни одного сигнала.
Комментарий сохраняется, но не участвует в тематическом анализе. Фиксируется как измеримый результат, не как ошибка.
Единичные упоминания
Сигналы есть, но их меньше 4 — тема не формируется.
Сигналы хранятся и видны отдельно. При накоплении до порога автоматически войдут в тему.
AI Ассистент

Обзор
результатов

Стартовая точка работы с фидбеком. Ассистент собирает всё в одном экране: ключевые сигналы периода, темы которые обсуждают пользователи, и быстрый доступ к сравнению сегментов.

Пример экрана
✦ Обзор результатов
a
Анализ за период: 17 января 2025 — 14 апреля 2026
Ответов 8095 Комментариев 1860 Оценка —
b
Ключевые сигналы
Причина удаления
Новое: 67 упоминаний за период
›
Уточнение модели
Новое: 47 упоминаний за период
›
Данные авто
Новое: 8 упоминаний за период
›
c
О чем говорят пользователи
Причина удаления 67 Уточнение модели 47 Данные авто 8 Каталог автомобилей 4 Единичные упоминания 5 Неразмеченные 665
d
Сравнить сегменты
categoryid cid mcid Почему решили удалить авто из Гаража?
e
Что стоит улучшить в первую очередь?
→
Структура экрана
a
Период и статистика — диапазон дат, число ответов и комментариев
b
Ключевые сигналы — темы с новыми упоминаниями за период, отсортированы по приросту
c
О чём говорят — все темы периода в виде чипов с числом упоминаний. Клик открывает детальный вид темы
d
Сравнить сегменты — доступные параметры для сравнения. Клик запускает анализ
e
Поле ввода — произвольный вопрос к данным
AI Ассистент · О чём говорят пользователи

О чём говорят
пользователи

Из текстовых ответов получается много сигналов — и часть из них с одним-двумя упоминаниями. Раздел объединяет сигналы в темы и отделяет устойчивые паттерны от единичных. Это навигатор: вместо сотни сигналов разной частоты — структурированная картина того, что важно прямо сейчас.

Тема — это не просто группировка. Внутри неё видно сколько пользователей столкнулись с проблемой, какие типы сигналов преобладают и кто именно это говорит.

Как работает
1
Выбор темы
Нажмите на тему в блоке «О чём говорят пользователи» — откроется детальный вид с полным списком сигналов.
2
Анализ темы
Ассистент показывает все сигналы внутри темы, их типы и частоту, а также кто из сегментов упоминает тему чаще всего.
3
Готовый результат
Структура и формулировки рассчитаны на скриншот сообщения в команду или слайд в отчёт — без дополнительной обработки.
Пример темы
AI
AI Ассистент
● онлайн
a
Фильтры
35 упоминаний  ·  22% из 160 ответов с комментариями
b

Пользователи сталкиваются с проблемами при работе с фильтрами: часть не работает, нужных фильтров не хватает, а логика параметров вызывает путаницу.

c
Не работают фильтры
Не работает
34%
12 упоминаний

Выбираю параметры — ничего не фильтруется. Встречается и на десктопе, и в мобильном приложении.

Критики 60% Researchers 25% Product managers 15%
Не хватает фильтров
Предлагаю
26%
9 упоминаний

Нет фильтра по размеру, материалу, цвету. Нужно выбирать вручную из всего каталога.

Критики 44% Researchers 33% Другие 23%
d 3 февраля – 28 марта
Структура темы
a
Заголовок темы — название и охват: сколько упоминаний и какой % от всех ответов с комментариями
b
Описание — краткое резюме того, что объединяет сигналы внутри темы
c
Сигнал — конкретное наблюдение внутри темы: тип, доля упоминаний, сегменты
d
Период — временной диапазон анализа
AI Ассистент · Сравнение сегментов

Сравнение
сегментов

Общая картина скрывает различия: один сегмент тянет метрику вниз, другой держит — а в среднем «нормально». Сравнение в разрезах ищет разделитель — фактор, который объясняет разницу между группами. Именно там обычно лежит следующий шаг.

Подробнее: NN/G — про когнитивные ограничения Reforge — как команды решают Cobbai — signal-based тренд
Как работает сценарий
1
Выбор параметра
Один параметр — оценка, устройство, роль или любое свойство из ответа. Ассистент сам разобьёт респондентов на группы.
2
Сравнение групп
Коротко описывает характерные черты каждой группы и то, что отличает её от остальных — с цифрами и цитатами.
3
Готовый результат
Структура и формулировки рассчитаны на скриншот сообщения в команду или слайд в отчёт — без дополнительной обработки.
Все ответы, не выборка. Сравнение строится на полном массиве данных — каждый комментарий уже разобран и привязан к темам. Ассистент работает с полной картиной, а не с фрагментом, который поместился в контекстное окно.
Работает без текста. Сравнение строится на агрегатах — оценках, ответах на вопросы, составе сегментов. Если респонденты не оставили комментариев, ассистент всё равно даёт анализ. Сигналы появляются там, где есть текст, но сравнение от них не зависит.
Доступные параметры для сравнения
Группы по оценкам
Критики · 0–6  ·  Нейтралы · 7–8  ·  Промоутеры · 9–10
Любой вопрос со шкалой — NPS, CSAT, звёзды, смайлы, цифры
Устройство
WEB · Desktop / Mobile / Tablet  ·  App · iOS / Android
Параметры ответа
Любые properties из ответа, которые передаёт клиент
Исключаем: email, id, phone, технические хеши, параметры с >20 уникальных значений
Пример ответа
AI
AI Ассистент
● онлайн
a
Сравнение по NPS-группам
g
b
Конструктор — единственная тема, которая звучит во всех трёх группах, но с разной интенсивностью. Критики хотят матричных вопросов и массового тегирования. Нейтралы — прототипы и сложную логику. Промоутеры тоже упоминают, но вскользь.
c d e
Критики
20 ответов · 20 комментариев
Researcher 67% Product Manager 13% Other 13%
Все 100% оставили комментарий. Боли конкретные и технические: конструктор (9 упоминаний), аналитика (3), производительность (3).
f
Нейтралы
33 ответа · 32 комментария
Researcher 62% Product Manager 25%
g 3 февраля – 28 марта
Структура ответа
a
Заголовок — «Сравнение по [параметр]»
b
Ключевой инсайт — что объединяет или разделяет группы, 2–3 предложения
c
Карточка группы — название, кол-во ответов, комментариев, описание, цитаты
d
Состав группы — кто попал в сегмент, распределение по доп. параметрам
e
Описание — характерные черты и отличия от остальных. Темы оформлены как ссылки (клик = запрос на детализацию), всегда с кол-вом упоминаний
f
Комментарии — кнопка раскрывает все комментарии группы
g
Действия — скопировать результат или оценить качество ответа
h
Период — диапазон дат, за который собраны ответы
Технические детали · Почему нас сложно повторить

Архитектура
решения

Обычный чат с LLM даёт разовый ответ — каждый раз нужно заново загружать данные и формулировать вопрос. Здесь система сама накапливает и структурирует фидбек: новые ответы автоматически попадают в нужные темы, карта инсайтов обновляется без участия человека.

Чат с LLM
— Разовый анализ, результат не сохраняется
— Один ответ = один инсайт или ни одного
— Не знает контекст опроса
— Результат зависит от промпта
UX Feedback
+ Накапливается с каждым новым ответом
+ Один ответ может попасть в несколько тем
+ Видит вопрос, кампанию, структуру опроса
+ Воспроизводимый результат независимо от запроса
Документация
📄
Алгоритм кластеризации
Полная спека: эмбеддинги, assign, drift guard, split, merge
📄
Извлечение сигналов
Спека signal_extractor_worker: промпт, JSON-контракт, постобработка
🔗
LLM-агент для аналитики данных — OpenAI
Референс: как LLM используется как движок обработки структурированных данных
01 Как работает сейчас (v1)

Единица анализа — комментарий. Один комментарий попадает в один кластер.

1
Ответ пользователя попадает в систему целиком
Например: "Зависает сайт, фильтры не работают, непонятен статус заказа" — всё это один кусок текста
2
Жёсткие правила решают: разбирать ответ или выбросить
Слишком короткий · стоп-слова · эмоция без конкретики ("норм", "ок") → в мусор
⚠️ Короткий, но содержательный ответ ("продан") тоже летит в мусор — правила не понимают смысл
3
Gemini переводит весь ответ в числовой «отпечаток»
Один ответ → одна точка в пространстве смыслов
⚠️ Если в ответе три разных проблемы — они все смешиваются в эту одну точку
4
Похожие по смыслу ответы собираются в кластер
Один ответ → один кластер · группировка по близости «отпечатков»
⚠️ "Сотрудник, тестирую" может оказаться в кластере с реальными жалобами — правила его не отсеяли
5
ИИ называет тему — Natasha как запасной вариант
Gemini Flash смотрит примеры ответов → даёт название, описание, ключевые слова
Если ИИ недоступен — Natasha берёт топ-3 слова из ответов кластера
02 Как станет (v2)

Единица анализа — сигнал. Один комментарий может породить несколько сигналов и попасть в несколько кластеров.

1
Ответ + контекст уходят в ИИ (signal_extractor_worker)
ИИ видит не только текст ответа, но и: какой вопрос задавали, из какой кампании, что за опрос
2
ИИ разбивает ответ на отдельные проблемы
"Зависает сайт, фильтры не работают, непонятен статус заказа"
→ три отдельных сигнала: Сайт зависает · Не работают фильтры · Непонятен статус заказа
Тест-ответ или мусор → ноль сигналов, факт записывается в лог
3
Автопроверка: выбрасываем неполные и повторы
Нет действия · нет объекта · дубликат · запрещённая область · низкая уверенность ИИ → в мусор
4
Каждая проблема получает свой «отпечаток» (signal_embedding_worker)
Один сигнал → одна точка · отдельно от «отпечатка» всего ответа
5
Похожие проблемы собираются в темы (signal_cluster_worker)
Та же логика группировки по смыслу · одна проблема может попасть в несколько тем
Тема формируется от 4 сигналов · меньше → Единичные упоминания
6
ИИ называет тему и пишет описание (topic_naming_worker)
ИИ получает все сигналы темы + подсказку по продуктовой области → даёт название, описание и список ключевых проблем
Ключевые отличия
Было
1 ответ → 1 тема
Стало
1 ответ → несколько проблем → несколько тем
Было
Мусор отсеивают жёсткие правила — и они ошибаются
Стало
Мусор → ИИ просто не находит сигналов
Было
Тема называется по частым словам
Стало
Тему называет ИИ по смыслу сигналов