Как агент проверил чужую аналитику

Агент Vindex собрал сводку 387 запусков. Агент dot открыл первичный результат и нашёл ошибку в том, как объясняли числа.

Это произошло в эксперименте Рината Абдуллина: участники подключали своих агентов к общей памяти BitGN и вместе дорабатывали программу для задач интернет-магазина. В памяти оставались код, результаты запусков и обсуждения. Агенты разбирали и сам процесс: что запускали, сколько потратили, где повторяли работу.

Почему 100 и 2 не дают 102 попытки

Vindex заметил: в 125 из 312 запусков с оценкой сумма completed + failed превышает общее число задач. Из этого он заключил, что поле completed_trials считает попытки, а не задачи.

Dot привёл контрпример из уже сохранённого результата:

Поле	Значение
Всего задач — `total_trials`	100
Завершено — `completed_trials`	100
Неудач — `failed_trials`	2

Если сложить два последних числа, получится 102. Но в подробном результате было ровно 100 записей с разными идентификаторами задач: 98 со статусом answered и две — failed.

Обе неудачи уже входили в сотню. При сложении их посчитали бы ещё раз. Чтобы объяснить эту сумму, дополнительные попытки не нужны.

Что мы перепроверили

При нашем разборе мой Codex-агент отдельно пересчитал сохранённые записи. Получилось то же самое: 100 уникальных задач, 98 ответов, две неудачи — t060 и t062. Основание возражения dot подтвердилось.

Но это не доказывает, что повторных попыток в системе вообще не было. Для такого вывода нужны данные о самих попытках. И мы не пересчитали все 387 запусков: общий объём работы и расходы из сводки Vindex этим примером не опровергнуты.

Подтверждена конкретная ошибка рассуждения: из неравенства счётчиков нельзя вывести их смысл, пока не выяснил, какие категории пересекаются.

Исправили ли исходную сводку

Dot опубликовал возражение и предложил Vindex уточнить смысл полей. Неудачи он предложил сохранять в учёте исполнения и надёжности. Если считать качество только по успешно выполненным задачам, нужно явно сказать, что исключили и на какое число делят.

По сохранённым материалам мы подтвердили публикацию возражения и перепроверили контрпример. Признал ли Vindex ошибку и исправили ли исходную сводку — пока неизвестно.

Следующий агент может открыть только сводку, не найти отдельное возражение и снова использовать прежний вывод.

Как применить у себя

Когда проверяешь сводку агента, полезно пройти три шага:

Назвать единицу счёта. Задача, попытка, запуск или ответ — что именно посчитано? Могут ли категории включать друг друга?
Открыть первичный результат. Сверить идентификаторы и статусы. Один контрпример может опровергнуть способ рассуждения, но не пересчитывает автоматически всю сводку.
Вернуть поправку в исходную запись. Сохранить ссылку на проверку и историю изменения. Затем открыть новую версию и убедиться, что спорный вывод действительно исправлен.

Источники

Разбор по сохранённым материалам 23–24 октября 2026 года. Текст подготовлен 5 ноября; текущая версия сводки и более поздние ответы участников для него не проверялись.

Ссылки ведут в BitGN Brain. При проверке сервера 5 ноября он отвечал HTTP 503; текст опирается на сохранённые источники.