Что бывает у AI-аналитика с вопросом по дороге к ответу

Тридцать пять вопросов на стенде, где данные сгенерированы, а эталонные запросы написаны отдельно. Каждый вопрос задан трижды. Верное число получилось в двадцати случаях из ста пяти.

Тридцать пять вопросов

Стенд устроен так, что правильный ответ известен заранее: данные сгенерированы, беспорядок в них заложен намеренно, эталонные запросы написаны отдельно от того, что видит агент. Сверять есть с чем.

У шести вопросов из тридцати пяти верного ответа нет вовсе — так они и помечены в файле задания. Это вопросы вроде «стоит ли расширять промо» или «когда клиент считается ушедшим»: на них нет числа, которое можно было бы назвать правильным.

Шесть исходов

Остальные восемьдесят пять ячеек — не поломки модели. Это шесть разных мест, где обрывается путь от вопроса к ответу, и только часть из них вообще про агента.

Ответил и сошёлся20

То, ради чего всё затевалось. Вопрос «Сколько активных клиентов сейчас», ответ в одну строку.

WITH cur AS (SELECT ts FROM world_cursor) SELECT COUNT(DISTINCT foi.customer_id) AS active_customers FROM fct_order_items foi, cur WHERE foi.status = 'completed' AND foi.is_guest_order = false AND foi.received_at_utc <= cur.ts AND foi.ordered_at_utc > cur.ts - INTERVAL '90 days' AND foi.ordered_at_utc <= cur.ts

Результат 21580, эталон 21580.

Двадцать ячеек — это восемь вопросов. У пяти сошлись все три повтора, у двух — два из трёх, у одного — один.

Рассуждение агента в этой ячейке короткое, и это тоже показатель:

Ответил и не сошёлся9

Вопрос «Выросла ли выручка год к году». Три попытки, в каждой по два варианта — шесть запросов, ноль попаданий.

Рассуждение аккуратное. Промах в другом.

Спрашивали процент, ответил суммами по годам с метками. Процента среди шести вариантов нет вообще. Это промах не в числе, а в форме результата — и заметить его можно только зная, чего ждали.

Ответил, но проверить нельзя10

Вопрос «Сколько заказов в среднем на клиента». Эталон 5.77, агент дал три варианта, первый — 5.16.

В записях сверки сказано, что у этого вопроса верным оказался один повтор из трёх. Какой именно — не записано. Вердикт привязан к вопросу, а не к ячейке.

Ответил, а верного ответа нет4

Вопрос «Есть ли смысл в гостевых заказах или они разовые». Эталона у него нет по построению — это исследовательский вопрос, а не метрика.

Агент это заметил и всё равно посчитал:

Четыре ячейки на двух вопросах. Отсутствие верного ответа не мешает выдать число — мешает только проверить его.

Переспросил50

Самый частый исход. Почти половина всех ячеек: агент останавливается и говорит, чего не хватает.

Вопрос «Какой средний чек». Метрики с таким именем в слое нет, поэтому открыты все решения сразу.

Пятьдесят ячеек делятся дальше: в восемнадцати агент назвал ровно ту развилку, которая заложена в вопрос; в шести не назвал ожидаемую; в двадцати шести у вопроса не было размеченных развилок, поэтому сравнивать оказалось не с чем. Последнее — свойство разметки, а не поведения агента.

Отказался12

Двенадцать ячеек на шести вопросах. Ни один отказ не про то, что чего-то не донесли в контекст.

Четыре причины: нет объекта в данных, нет определения в слое, вопрос требует решения, а не числа, и вопрос про будущее. Разбивка моя, по чтению двенадцати текстов.

Отказывается агент не молча — в каждом тексте сказано, что посчитать всё-таки можно и почему это не будет ответом. А один отказ устроен иначе: там он нашёл поле, которое напрашивается, и объяснил, почему брать его нельзя.

Это уже не отказ от нехватки данных, а разбор подмены: поле похоже на нужное и называется почти как нужное, поэтому его легко взять по ошибке.

Что видно на карте

Семнадцать вопросов из тридцати пяти не дали ни одного запроса. Ни в одном из трёх повторов. Это не «иногда не справляется» — это половина сетки, на которой агент до SQL не доходит вовсе.

Ошибка — свойство вопроса, а не случайность. Девять ячеек с неверным числом приходятся ровно на три вопроса, по три ячейки каждый. Не «ошибается в девяти процентах случаев», а «есть три вопроса, на которых ошибается всегда».

Двадцать четыре вопроса однородны: три повтора дают один и тот же исход. У одиннадцати повторы разошлись — это вопросы на границе, где поведение неустойчиво. Доля таких вопросов — готовая мера, её можно считать на любом стенде и сравнивать между прогонами.

Промах отбора контекста агент замечает и называет вслух. В тринадцати ячейках он пишет, что нужной таблицы нет в схеме. На стенде она есть — её не подали в контекст. Это нижняя оценка: столько раз он захотел таблицу, которой ему не дали, и сказал об этом. Сколько раз не захотел или не сказал — неизвестно.

Что проверить у себя

1. Разложите свои вопросы по шести исходамПрежде чем чинить агента, посмотрите, чего у вас больше. Половина исходов не про модель.
2. Посчитайте, на скольких вопросах он не доходит до запросаУ меня таких половина сетки. Это другая проблема, чем неверные числа, и чинится иначе.
3. Задавайте каждый вопрос больше одного разаОднородность повторов показывает, где поведение устойчиво, а где вопрос лежит на границе.
4. Привязывайте вердикт к ячейке, а не к вопросуИначе часть результатов окажется непроверяемой задним числом, как у меня десять из сорока трёх.
5. Читайте, что агент пишет рядом с ответомВ половине случаев он сам называет развилку, которую закрыл за вас.

Как я это мерил

Правило разнесения по классам записано и закоммичено до счёта, классы не пересекаются, сумма сходится к ста пяти. Каждая ячейка имеет адрес записи, все выдержки скопированы программой, а не набраны руками.

Два долга, о которых стоит знать. Вердикт «сошлось с эталоном» привязан к предмету, а не к ячейке: для десяти ячеек восстановить, какой повтор сошёлся, нельзя. И имя файла лога строилось из времени с точностью до секунды, поэтому пять ячеек, запущенных в одну секунду, затёрли друг друга — эти записи потеряны.