Defence-in-depth: як ми будуємо захист для Дія.AI [ukr]
Що відбувається, коли велика мовна модель стає точкою входу до державних сервісів, які працюють під реальним навантаженням і в умовах інформаційної війни? У такій архітектурі будь-який запит може бути не лише некоректним, а й навмисно маніпулятивним — і стандартні AI-safety рішення виявляються значно менш надійними, ніж у лабораторних бенчмарках.
У цій доповіді я розповім, як ми будували власний guardrail-модуль для Дія.AI після того, як зіткнулися з обмеженнями готових фільтрів і високою вартістю підходу LLM-as-a-Judge. Замість перевірки кожного запиту великою моделлю ми спроєктували каскадну архітектуру безпеки: швидкі ML-класифікатори відсікають більшість трафіку, а LLM підключається лише там, де справді потрібен глибокий аналіз контексту.
Це доповідь не про ідеальні моделі, а про компроміси, обмеження і практичні рішення, які доводиться приймати, коли AI-система працює не в ноутбуці, а в національному сервісі.
- Інженер із досвідом у консалтингу та викладання
- Займається розробкою і впровадженням AI/ML-рішень у фінансах і ритейлі: кластеризація клієнтської бази, рекомендаційні системи, прогнозування часових рядів
- Працює зі структурованими даними, а також над задачами NLP, комп’ютерного зору та геопросторової аналітики
- Орієнтується на практичне застосування машинного навчання в реальних бізнес-проєктах