Материалы
Серии и подборки
Общая память и работа агентов
Как агенты используют общую память, передают работу и проверяют результаты. Разборы по материалам эксперимента Рината Абдуллина и собственного участия в BitGN.
AI-аналитик
Сколько работы аналитика можно отдать агенту и чем это проверять — серия разборов. И основа, без которой агенту нечего объявить: A/B-эксперименты и монетизация.
Материалы по темам
AI-first аналитика
-
Почему рекорда не хватило для выбора рабочей версии
Как в рое Абдуллина сравнивали версии, отзывали кандидата после новой ошибки и почему итоговый выбор после draft4 остался неизвестным.
-
Как чужой компонент попал в общую сборку
Romius → bobcat: как правку приняли, нашли в запущенной сборке и почему её вклад в общий результат остался неизвестным.
-
Как передать работу другому агенту
Inara → bobcat: что оставили в общей памяти, как подтвердили приём работы и чем проверили продолжение.
-
Как агенты теряли чужие правки
Как lea-code нашёл потерю чужих записей в LANES, china-brother признал причину и участники изменили порядок редактирования.
-
Как новое правило доходило до агентов
AGENTS r5 → Emilcodex → bobcat: как новое правило появилось в документах и почему его получение всеми работающими агентами осталось непроверенным.
-
Как агент проверил чужую аналитику
Vindex → dot: как проверили смысл счётчиков на 100 записях и почему публикация возражения ещё не означает исправления сводки.
-
Как проверить исправление агента
Одна строка в recordwatch: как воспроизвели ошибку, проверили исправление в двух средах и передали результат другим агентам.
-
Как я ходил изучать Company Brain
В итоге я успел поучаствовать в разработке инструмента, которым рой проверял собственную работу.
-
Почему знания разбросаны по всей компании?
Для конкретной задачи определить нужные источники. Разобраться, какие правила действуют, кто их поддерживает и что делать с противоречиями.
-
Система знаний в мире нескольких AI
У проекта есть цель, файлы, данные, решения, текущий статус и следующие шаги. А ChatGPT, Claude или Codex просто подключаются к нему как исполнители.
-
Чем AI-first аналитика отличается от привычной и как к ней подготовиться
Хранилище, витрины и код сборки переделывать не нужно. Вопрос в том, что из этого агент видит.
-
Под каждую задачу AI-аналитику нужна своя обвязка
Четыре типа задач на одном стенде: число, правка отчёта, выгрузка, A/B-тест. Общая у обвязки половина, вторая меняется — и от неё зависит, можно ли задачу отдавать.
-
AI-аналитик видит не ваш проект, а промпт
Модель отвечает не по вашему проекту, а по тексту, который для неё собрали. Что в него попадает, а что нет.
-
Что бывает у AI-аналитика с вопросом по дороге к ответу
Тридцать пять вопросов на стенде с известной правдой, каждый задан трижды. Шесть мест, где путь обрывается.
-
AI-аналитику нужна не длинная задача, а точная
Четыре команды, почти четыре тысячи задач за двадцать месяцев. Семь вещей, без которых задачу нельзя посчитать.
-
Как устроен слой метрик для AI-аналитика
Файл на сто семь строк, где записано, как считаются метрики. Кто его читает — сборщик и модель — и почему два измерения расходятся.
-
Как получить от AI-аналитика ответ на задачу
Задача из шести слов и пять решений внутри неё. Семь шагов между задачей и принятым числом.
-
Продакт задал двадцать вопросов AI-аналитику
Он не врёт — он переспрашивает. А когда ответить на уточнение некому, отвечает сам себе.
-
Как я строил AI-аналитика и что придумывал, чтобы ему не верить на слово
Учебная сборка на ритейл-данных: шесть этапов, семнадцать проверок и числа, которых я не ожидал.
Эксперименты
-
Почему A/B-тест врёт
Тринадцать ошибок A/B-теста в трёх группах: организационные, статистические и технические. Как выглядит, почему обманывает, что делать — и восемь проверок перед запуском.
-
Почему A/B на двустороннем рынке врёт сильнее всего: interference в райдхейлинге
Почему наивный A/B завышает эффект на двустороннем рынке и как switchback это чинит — на симуляции рынка с дефицитом.
-
Почему A/B-тест ломается в рекламном аукционе (и что делать вместо)
В рекламном аукционе SUTVA рушится через общий бюджет, цены и общую модель. Тест и контроль делят один ресурс — измеренная разница смещена. Switchback, гео-эксперимент и двусторонняя рандомизация как решения.
-
MDE на маркетплейсе: почему дефолтная формула размера выборки врёт
Три механизма, из-за которых стандартные формулы размера выборки систематически недооценивают реальную потребность на маркетплейсе.
-
Три ошибки в планировании A/B-теста, которые убивают результат до запуска
Три ошибки на этапе планирования теста, которые убивают результат до того как тест запущен: variance reduction, MDE calibration, stop-rule discipline.
-
Один кейс, три процесса
Дефект LLM-классификатора → ложный A/B-результат. Синтетический маркетплейс с кодом.
Монетизация
-
Почему pCTR-модель с отличным AUC может терять деньги: калибровка в рекламном аукционе
Почему AUC не годится для оценки pCTR-модели в аукционе и что мерить вместо него — калибровка, дрейф, сегменты.
-
Когда метрика становится переменной: выручка, прибыль и работа аналитика на развороте
В B2B SaaS выручка и прибыль тянут компанию в разные стороны на горизонте квартала. Как аналитику пережить разворот цели без паники — через дерево метрик и переключение фокуса.
-
Где рождается выручка
Пять последовательных переходов — от запроса к аукциону до клика — складываются в рекламную выручку. На каждом шаге потери. Разбор механики, типичных диапазонов и пяти способов терять деньги молча.
-
Retention vs Revenue: как не разрушить продукт ad-монетизацией
Три механизма, из-за которых оптимизация revenue без модели retention систематически разрушает продукт.
Аналитика везде
-
D2C: Pricing и промо-механики
Fashion-бренд: ценообразование, stock-out, промо.
-
Рыночный анализ ценообразования
5k+ объявлений, сегменты, медианы, проверка цены.
-
Математика настольной игры
Аукцион, ресурсы, режимы мышления.
-
Расчёты на кафешной салфетке
Меню кофейни выглядит так, будто за ним скрытая формула. Нулевая модель убивает её (p=0.43), а выживает только то, что прошло χ². Кейс про то, как отличить закономерность от желания её увидеть.
-
Зачем кроссовки делают разноцветными
Одна модель, тридцать расцветок за год — менялся только цвет. Разобрал палитру по слотам: две трети из них вообще не цвет, а вся связность держится на чёрном.
-
Рога и копыта: аудит фирмы, которой не было
Собрали все денежные суммы из «Золотого телёнка», разметили вручную и сверили со статистическим справочником 1930 года. Оклад главного миллионера СССР оказался меньше, чем средняя семья тратила на еду.
-
Кто работает в корпорации Октан
Разобрал по каталогу все 77 минифигурок первого «Лего. Фильма»: кто человек, кто машина, кто на кого работает. У киношного злодея оказалась компания, три четверти штата которой — роботы, а цена коробки свелась к цене за деталь.
По этому запросу материалов нет. Попробуйте другое слово или выберите все темы.