Впровадження ШІ у державний сервіс на 23+ млн користувачів — це шлях постійних продуктових відкриттів та викликів. У цій доповіді я поділюся реальним досвідом того, як екосистема «Дія» переходить від класичної Цифрової держави (де юзер сам шукає потрібні послуги) до Агентної (де ШІ проактивно виконує намір користувача). Про що поговоримо: - Product Discovery та зміна парадигми: Перехід від Digital State до Agentic State. Чому звичні інтерфейси досягли своєї межі, та як ми валідували потребу в проактивних AI-рішеннях. - AI у Підтримці як перший великий крок: Як ми автоматизували 90% звернень без втрати якості (CSAT). М'який AI UX: чому люди не вміють користуватися промптами і як ми допомагаємо їм гібридними інтерфейсами. - Кейс Upskill та трансформація команди: Ми не звільнили жодного оператора. Як ми створили внутрішні AI-тули для команди, а вчорашні оператори стали AI-тренерами. - Deep Dive у Дія.AI на Порталі: Запуск першої у світі агентивної послуги на державному рівні. Як працює наша RAG-архітектура, як ми захищаємо персональні дані (PII) від потрапляння в LLM та відбиваємо спроби джейлбрейків.

Що відбувається, коли велика мовна модель стає точкою входу до державних сервісів, які працюють під реальним навантаженням і в умовах інформаційної війни? У такій архітектурі будь-який запит може бути не лише некоректним, а й навмисно маніпулятивним — і стандартні AI-safety рішення виявляються значно менш надійними, ніж у лабораторних бенчмарках. У цій доповіді я розповім, як ми будували власний guardrail-модуль для Дія.AI після того, як зіткнулися з обмеженнями готових фільтрів і високою вартістю підходу LLM-as-a-Judge. Замість перевірки кожного запиту великою моделлю ми спроєктували каскадну архітектуру безпеки: швидкі ML-класифікатори відсікають більшість трафіку, а LLM підключається лише там, де справді потрібен глибокий аналіз контексту. Це доповідь не про ідеальні моделі, а про компроміси, обмеження і практичні рішення, які доводиться приймати, коли AI-система працює не в ноутбуці, а в національному сервісі.

Ця презентація призначена для інженерів, архітекторів та технічних лідерів, які хочуть не просто користуватись великими мовними моделями, але й розуміти, як вони працюють, як працювати через API, які є проблеми при створенні RAG-систем і як їх розв'язувати.

Розробка AI зараз впливає на всіх — тож давайте зануримось у неї разом. Усі хочуть, щоб AI-агенти замінили звичні інтерфейси. У цій доповіді я розповім про еволюцію нашого мультиінструментального AI-агента, створеного на Node.js поверх Google Vertex AI. Я поділюся нашим шляхом вибору правильних моделей та масштабування розробки за допомогою CI/CD, TDD і моніторингу продуктивності. Але виникає питання: чи взагалі можливо досягти стабільних результатів у AI-проєктах, де моделі можуть галюцинувати та повертати різні відповіді? Цікаво, що з часом ми вирішили відмовитися від MCP-серверів і валідації схем через Zod — технологій, які часто вважають «стандартом» для таких задач. Хочете дізнатися, чому ми відійшли від них? Приходьте на мою доповідь, щоб отримати ці інсайти та поставити свої запитання наживо.

Проаналізуємо що справді працює в сфері автономних LLM агентів, наявні обмеження та їх причини, напрямки досліджень по збільшенню періоду повністю автономного виконання задач, оглянемо потенційні архітектури повністю автономних систем, економічна автономність агентів та де ми на шляху до неї.

На цій зустрічі ми крок за кроком проговоримо як побудувати AI застосунок, використовуючи PHP та інтеграцію з великими мовними моделями. Зрозуміємо як навчити ваш бот відповідати як ChatGPT та оперувати вашими приватними даними, без навчання та великої експертизи в Data Science. Подивимось на огляд існуючих бібліотек і як ці підходи можна використовувати в ваших додатках.

In this talk, I'll give a quick introduction to LLM and how to use it in a PHP application. I'll show some examples using the LLPhant project including a retrieval-augmented generation (RAG) system using a local LLM (Llama 3) and Elasticsearch as a vector database.