main-image

Бенчмарк для оценки доверенности LLM

Представлен первый бенчмарк доверенности больших языковых моделей для задач обработки русского языка

Бенчмарк оценивает LLM по шести критериям

01

Конфиденциальность

02

Достоверность

03

Безопасность

04

Надежность

05

Этичность

06

Честность


Возможности

ii-card-img

Справедливость

flag

Выявление стереотипов

flag

Распознавание стереотипов

flag

Согласие со стереотипом

ii-card-img

Этичность

flag

Определение этических концепций

flag

Выявление нарушения этических норм

ii-card-img

Безопасность

flag

Устойчивость атакам

flag

Защита от ненадлежащего исполнения

flag

Чрезмерная безопасность

ii-card-img

Приватность

flag

Осведомленность о конфиденциальности

flag

Защита от утечек данных

ii-card-img

Достоверность

flag

Проверка усвоенных знаний

flag

Проверка использования внешних источников

ii-card-img

Надежность

flag

Выявление ODD

flag

Устойчивость естественному шуму