Рецепты AI-first аналитики
Выпуск 1. Как принять работу агента
До планёрки полчаса. Агент прислал сводку, нашёл причину расхождения и заодно предложил поправить запрос. Какие из этих результатов уже можно отнести руководителю? Я начинаю с того пункта, под которым мне предстоит поставить своё имя.
Можно ли принять предложенную правку?
Агент предлагает упростить запрос. Прежде чем соглашаться, я хочу увидеть хотя бы одну строку отчёта глазами того, кому по ней работать.
Ринат Абдуллин попросил четырёх агентов предложить небольшие упрощения в коде BitGN. Claude Code предложил удалить файл описания интерфейса соревнования, ecom.proto. Ринат знал, кто им пользуется, и отклонил предложение. Другую правку из того же ответа, удаление внутреннего интерфейса fx.VM, счёл разумной. В мае он опубликовал сам разбор предложений. В ноябре сформулировал принцип, который приписывает своему ассистенту Марку. При проектировании надо учитывать, сможет ли человек понять и оценить работу агента. Майский разбор Рината · Правило Марка.
Мой учебный пример. В отчёте диспетчера агент предлагает заполнить пустую дату вручения датой заказа. Возьмём заказ, оформленный в понедельник. В среду он ещё в пути. После подстановки диспетчер увидит доставку в понедельник, а из списка ожидающих заказ исчезнет. Эту правку я бы отклонил. У диспетчера пропадёт строка, по которой ему сегодня нужно позвонить.
Забрать в работу. Выберите один реальный случай, где старая и новая версии дадут разные ответы. Покажите обе строки получателю отчёта. Запишите рядом с предложением, какое действие изменится и принимаете ли вы это последствие. Если назначение поля спорно, оставьте правку открытой до ответа владельца данных.
Можно ли поставить эту цифру в сводку?
Два счётчика складываются без ошибки. Вопрос в том, не попал ли один и тот же объект в сумму дважды.
В эксперименте Абдуллина агенты работали с общей памятью BitGN. Там Vindex собрал сводку по 387 запускам и заметил, что сумма завершённых и неудачных задач иногда превышает число задач. Он решил, что поле «завершено» считает попытки. Агент dot открыл подробности одного запуска. Из 100 завершённых задач 98 получили ответ, две закончились ошибкой. Мой агент пересчитал идентификаторы в сохранённом результате. Уникальных задач ровно 100. Если сложить 100 и 2, обе ошибки попадут в сумму второй раз. Сколько было попыток, по этим строкам установить нельзя. Наш разбор с числами.
Пример из нашего практикума. В июне у 18 магазинов нашлись расхождения по продажам, у 9 — по возвратам. Магазины №14, №42 и №72 попали в оба списка. Все 120 магазинов сети прошли сверку. Поэтому в сводку идёт 24 из 120, или 20%. Расчёт занимает одну строку — 18 + 9 − 3 = 24. Практикум с учебными данными.
Забрать в работу. Назовите единицу счёта. Попросите агента вывести ID по каждой группе и их пересечение. Сами проследите один ID до исходной строки и сверьте знаменатель с реестром за тот же период. Исправьте цифру там, откуда её заберёт руководитель, и оставьте рядом ссылку на расчёт.
Сколько улучшений дала именно эта правка?
Список платежей без пары за неделю сократился на 18 строк. Можно ли написать, что все 18 сопоставила новая версия алгоритма?
В BitGN Romius исправил обработку количества товара в корзине. Раньше явно переданный ноль мог превратиться в единицу. Интегратор bobcat принял проверку количества. Мы нашли её в файле, который действительно отправили на прогон. На 19 задачах новая сборка набрала 15,66 балла против прежних 16,67. В сборке были и другие изменения, а условия задач генерировались заново. По этому сравнению мы смогли подтвердить включение кода. Сколько баллов добавила или отняла именно проверка количества, осталось неизвестным. Как мы проверили файл.
Пример из нашего практикума. На одной выгрузке из 50 платежей мы включили и выключили обработку ведущих нулей в номере заказа. Справочник и правильные пары для сверки были одинаковыми. С выключенной правкой получили 23 верные пары и ни одной ошибочной. С включённой — 30 верных и одну ошибочную. Платёж W2-031 исчез из очереди на разбор, но деньги отнесли к чужому заказу. В вывод для руководителя идут семь дополнительных верных совпадений и одна новая ошибка. Скачать учебные данные и сверку по платежам (ZIP).
Забрать в работу. Найдите версию компонента в фактически исполненной сборке. Возьмите один снимок данных и один справочник, измените только проверяемую правку. Сопоставьте изменившиеся строки с известными правильными ответами. Выпишите отдельно, сколько ошибок исправили и сколько добавили. Если одновременно поменялись входы, долю улучшения пока оставьте открытой.
Какую версию оставить рабочей?
У кандидата лучший балл, но на одной из задач он начал уверенно ошибаться там, где прежняя версия просила уточнения. Стоит ли его выпускать?
В BitGN версия rc3 получила 96,1 балла на ста задачах и стала основной. Позже Inara привела ответ своего агента о повторе того же кода с оценкой 91,9. Первичный результат этого повтора у нас отсутствует. Для другого кандидата, draft4, мы подтвердили постановку двух полных прогонов. Окончательный выбор после них остался неизвестен. Сообщение о повторе · История сравнения версий.
Зато известно, почему отозвали одну из доработок rc3. Обработчик H4 пытался узнать товар по повреждённому артикулу в чеке. Ревьюер Aika показал случай, где старая версия воздержалась от выбора, а H4 выбрал синий компрессор вместо красного. Inara отозвала H4 как кандидата на полный тест. Этот отказ обоснован конкретной новой ошибкой даже при неизвестном общем балле H4. Разбор отзыва H4 и повторного ревью.
Мой учебный пример. Новая версия сводки чаще узнаёт магазин по неполному названию. На строке «Центральный» она приписывает недостачу одному из двух одноимённых магазинов. Прежняя версия отправляла строку на ручную сверку. Пока руководитель использует отчёт для разбора недостач с директорами, я бы оставил прежнюю версию и сохранил эту строку как проверку для следующей.
Забрать в работу. Прогоните обе версии на одинаковых входах. Если результат меняется от прогона к прогону, сохраните всю серию. Откройте задачи, на которых кандидат стал хуже, и разберите с владельцем отчёта хотя бы одну потерю, способную изменить его решение. Зафиксируйте выбранную версию, причину и условие, при котором вернётесь к выбору.