Стачка - AI в A/B: кто теперь отвечает за тест? Опыт Циана

AI в A/B: кто теперь отвечает за тест? Опыт Циана

4 октября

15.10-15.40

Blue 1. Управление

Лид-аналитик платформы экспериментов @Циан

В Циане мы проводим более 1300 A/B-экспериментов в год, а около 94% тестов рассчитываются платформой автоматически. Автоматизация расчётов решила одну проблему, но вывела на первый план другую: интерпретацию результатов и принятие решений.

С ростом числа экспериментов и зрелости компании увеличивается количество метрик, появляются конфликты между продуктовыми целями, а один и тот же эксперимент может одновременно улучшать одни показатели и ухудшать другие. Поэтому всё чаще возникает вопрос не "каков результат теста?", а "как правильно интерпретировать этот результат и какое действие выбрать?"

Чтобы справляться с этим, мы в A/B-платформе Циана постепенно выработали протоколы принятия решений: набор правил, которые помогают аналитикам и продуктовым командам работать со сложными и неоднозначными результатами экспериментов.

Но с появлением AI возник следующий этап эволюции: что происходит, когда система начинает не только считать результаты, но и помогать формировать гипотезы, анализировать влияние изменений и предлагать решения?

В докладе поделюсь нашим практическим опытом внедрения AI в процессы A/B-платформы. На реальных кейсах покажу, где AI действительно помогает аналитикам ускорять работу и повышать качество анализа, а где начинает создавать ложную уверенность в выводах. Разберём, почему автоматизировать расчёты оказалось значительно проще, чем автоматизировать интерпретацию результатов, и какие принципы мы сформировали на этом пути.

Итог доклада: практические принципы, сформированные на основе нашего опыта, которые помогут понять, какие этапы A/B-экспериментов уже можно доверить AI, а где цена ошибки слишком высока и решение должно оставаться за человеком.

Может заинтересовать

#похожие доклады

10.20-10.50

P&L не сходится. Кто виновен?