Ми звикли довіряти відчуттям: здається, що процеси працюють, а продукт якісний. Але відчуття не масштабуються. У цій доповіді я покажу, як ми перейшли від інтуїтивних рішень до системи метрик, яка вимірює якість продуктів і процесів у реальному часі. Як команди, маючи «приборну панель», самі керують розвитком своїх продуктів із точки зору якості. І головне — як технічні метрики стають зрозумілими бізнесу, допомагають говорити про ризики однією мовою й приймати рішення на масштабі.

Розкажу про валідацію та моніторинг AI-агентів на прикладі мобільного додатку, що працює з мультиагентною системою через OpenAPI. Продемонструю практичні підходи до тестування логіки агентів, методи збору метрик їхньої роботи та налаштування observability системи. Поділюся досвідом відстеження поведінки агентів у реальному часі, виявлення аномалій та забезпечення надійності мультиагентної архітектури в продакшені.

Поговоримо про архітектурні рішення, які дозволяють Elasticsearch залишатися стабільним під високим навантаженням: правильна організація індексів і шардів, політики ILM, використання persistent queues у Logstash, даунсемплінг метрик та моніторинг самої observability-системи. Поділюся досвідом побудови надійної платформи з терабайтами логів і мільйонами подій на день.