На GitHub вышел heretic — он снимает с открытых моделей встроенные отказы отвечать

На GitHub вышел heretic — инструмент, который автоматически снимает с языковых моделей отказы отвечать. Проект собрал почти 370 звёзд за сутки.

Работает он с открытыми весами: находит и подавляет внутренние направления, отвечающие за отказ, без дообучения модели на новых данных. Практическое следствие для команд, которые ставят открытые модели у себя: встроенные ограничения модели снимаются сторонним скриптом, значит опираться на них как на защиту нельзя — фильтровать приходится на своей стороне.