Инженер разложил память ИИ-ассистента на пять слоёв — опыт 16 тысяч диалогов

Автор Хабра описал устройство памяти ИИ-ассистента, работающего в продуктовой среде на 16 тысячах диалоговых раундов, и разложил её на пять слоёв. Своей памяти у языковой модели нет — всё, что она «помнит», кладут в запрос разработчики.

Слои такие: файлы с правилами, база PostgreSQL с векторным поиском по смыслу, отдельная дешёвая модель-судья, которая решает, что сохранять, выжимки длинных диалогов и политика доступа между разными ассистентами. Автор отмечает, какие приёмы из статей до продакшена не дожили.

Разбор смыкается с предложением единого формата памяти: обе стороны упираются в то, что состав памяти у всех разный.