Институт Аллена выложил FairStress — тест на устойчивость решений модели о людях

Институт Аллена опубликовал набор тестов FairStress, который проверяет, меняет ли языковая модель решение о человеке из-за расы, пола, религии, возраста, инвалидности или ориентации. Сферы — наём, кредитование, медицина и образование.

Отличие от прежних проверок в методе: в запрос внедряются состязательные приставки с авторитетными или социально окрашенными доводами — ссылка на мнение руководства, упоминание прошлой дискриминации. Тест меряет не ответ на чистом вопросе, а устойчивость позиции модели под давлением.

Набор открыт, и его можно прогнать на своей модели перед внедрением в процессы, где решение касается конкретного человека.