War Story of putting AI Agents into Production [ukr]

Сьогодні всі створюють AI-асистентів, які допомагають нам у повсякденних справах, і за допомогою vibe coding швидко збирають красиві демонстраційні застосунки. Однак, коли ви намагаєтеся запустити AI-асистента в реальному production-середовищі — особливо якщо ним користуватимуться громадяни на державному порталі, — стає зрозуміло, що створення самого AI-агента становить лише близько 10% усієї необхідної роботи. Решта 90% припадає на реалізацію наскрізних вимог системи та врахування потреб і застережень різних груп стейкхолдерів.

Доповідь базується на моєму власному досвіді запуску AI-асистентів для громадян на державному порталі, створеному на основі агентної AI-платформи. Я розповім про виклики, з якими ми зіткнулися, вимоги та застереження різних груп стейкхолдерів, важливі нефункціональні вимоги й атрибути якості рішення, а також можливі способи розв’язання цих проблем. Учасники отримають практичні поради, ширше бачення реальних викликів і зможуть розвинути критичне мислення.

Доповідь буде цікавою фахівцям із різними ролями, які хочуть краще зрозуміти реальні виклики запуску AI-рішень і подивитися на них комплексно.

Серед тем, які я планую розглянути:

— наївна реалізація чатбота порівняно з масштабованим і зрілим рішенням;
— переваги та недоліки використання агентної AI-платформи порівняно з власною реалізацією;
— вибір між публічною та приватною LLM;
— виклики, пов’язані з продуктивністю та якістю;
— інфраструктура;
— витрати;
— обробка помилок;
— UI/UX;
— guardrails, захист від зловживань і DDoS-атак;
— спостережуваність системи;
— багатомовна підтримка;
— фреймворк для тестування та оцінювання;
— робота з персональними даними;
— та інші аспекти.