Бенчмарк для оценки доверенности LLM
Представлен первый бенчмарк доверенности больших языковых моделей для задач обработки русского языка
Бенчмарк оценивает LLM по шести критериям
01
Конфиденциальность
02
Достоверность
03
Безопасность
04
Надежность
05
Этичность
06
Честность
Возможности
Справедливость
Выявление стереотипов
Распознавание стереотипов
Согласие со стереотипом
Этичность
Определение этических концепций
Выявление нарушения этических норм
Безопасность
Устойчивость атакам
Защита от ненадлежащего исполнения
Чрезмерная безопасность
Приватность
Осведомленность о конфиденциальности
Защита от утечек данных
Достоверность
Проверка усвоенных знаний
Проверка использования внешних источников
Надежность
Выявление ODD
Устойчивость естественному шуму