Що відбувається, коли велика мовна модель стає точкою входу до державних сервісів, які працюють під реальним навантаженням і в умовах інформаційної війни? У такій архітектурі будь-який запит може бути не лише некоректним, а й навмисно маніпулятивним — і стандартні AI-safety рішення виявляються значно менш надійними, ніж у лабораторних бенчмарках. У цій доповіді я розповім, як ми будували власний guardrail-модуль для Дія.AI після того, як зіткнулися з обмеженнями готових фільтрів і високою вартістю підходу LLM-as-a-Judge. Замість перевірки кожного запиту великою моделлю ми спроєктували каскадну архітектуру безпеки: швидкі ML-класифікатори відсікають більшість трафіку, а LLM підключається лише там, де справді потрібен глибокий аналіз контексту. Це доповідь не про ідеальні моделі, а про компроміси, обмеження і практичні рішення, які доводиться приймати, коли AI-система працює не в ноутбуці, а в національному сервісі.

Ця презентація призначена для інженерів, архітекторів та технічних лідерів, які хочуть не просто користуватись великими мовними моделями, але й розуміти, як вони працюють, як працювати через API, які є проблеми при створенні RAG-систем і як їх розв'язувати.

Розробка AI зараз впливає на всіх — тож давайте зануримось у неї разом. Усі хочуть, щоб AI-агенти замінили звичні інтерфейси. У цій доповіді я розповім про еволюцію нашого мультиінструментального AI-агента, створеного на Node.js поверх Google Vertex AI. Я поділюся нашим шляхом вибору правильних моделей та масштабування розробки за допомогою CI/CD, TDD і моніторингу продуктивності. Але виникає питання: чи взагалі можливо досягти стабільних результатів у AI-проєктах, де моделі можуть галюцинувати та повертати різні відповіді? Цікаво, що з часом ми вирішили відмовитися від MCP-серверів і валідації схем через Zod — технологій, які часто вважають «стандартом» для таких задач. Хочете дізнатися, чому ми відійшли від них? Приходьте на мою доповідь, щоб отримати ці інсайти та поставити свої запитання наживо.

Проаналізуємо що справді працює в сфері автономних LLM агентів, наявні обмеження та їх причини, напрямки досліджень по збільшенню періоду повністю автономного виконання задач, оглянемо потенційні архітектури повністю автономних систем, економічна автономність агентів та де ми на шляху до неї.

На цій зустрічі ми крок за кроком проговоримо як побудувати AI застосунок, використовуючи PHP та інтеграцію з великими мовними моделями. Зрозуміємо як навчити ваш бот відповідати як ChatGPT та оперувати вашими приватними даними, без навчання та великої експертизи в Data Science. Подивимось на огляд існуючих бібліотек і як ці підходи можна використовувати в ваших додатках.

In this talk, I'll give a quick introduction to LLM and how to use it in a PHP application. I'll show some examples using the LLPhant project including a retrieval-augmented generation (RAG) system using a local LLM (Llama 3) and Elasticsearch as a vector database.