Бенчмарк SLAVA зафиксирован на карте российских ИИ-инструментов
Поделитесь с друзьями
Бенчмарк SLAVA, разработанный Исследовательским центром искусственного интеллекта ИОН Президентской академии, включён в карту российских Open Source решений для задач ИИ-разработки. Список ресурсов в сфере искусственного интеллекта, которые создали российские команды, был подготовлен АНО «Цифровая трансформация» и опубликован на сайте ICT.Moscow.
Название SLAVA является аббревиатурой от фразы Socio-Political Landscape and Value Analysis. Этот бенчмарк позволяет оценить, насколько успешно Большие языковые модели (БЯМ), поддерживающие русский язык, работают с тематикой, которая является чувствительной для российской аудитории, пояснил директор Исследовательского центра искусственного интеллекта ИОН Сергей Боловцов. Исследователи ИОН изучили, какие ответы дают БЯМ на более чем 14 тысяч вопросов по истории, обществознанию, политологии, географии и национальной безопасности, взятых из официальных баз, разработанных для государственных экзаменов и проверочных работ. Корректность ответов оценивалась с точки зрения официальной позиции государства, а также социокультурных и политических предрасположенностей россиян. Для каждого вопроса учитывалась также его чувствительность: является ли тема общепризнанным фактом, спорной или вызывает в обществе конфликты.Порядка 130 проектов, попавших в карту российских ИИ-инструментов, сгруппированы в несколько категорий: «Библиотеки и фреймворки», «Модели искусственного интеллекта», «Бенчмарки», «Датасеты», «Методы», «Платформы» и «Архитектуры».
Авторами этих решений выступили более 40 команд. Как отмечают составители карты, большинство разработок принадлежит командам российского «бигтеха»: «Сбер», Т-Банк, «Яндекc», VK и «МТС» представили 58% от общего числа инструментов. На втором месте по заметности выступают научные, образовательные и некоммерческие организации (42%), в числе которых – РАНХиГС. Третью группу (12%) составляют инструменты, созданные как точечные инициативы IT-компаний, стартапов и энтузиастов в области искусственного интеллекта.
Самой представительной категорией инструментов являются библиотеки и фреймворки (33% закартированных решений), далее идут модели искусственного интеллекта (25%), на третьем месте находятся бенчмарки (16%).
Помимо проекта Исследовательского центра искусственного интеллекта ИОН, в категорию бенчмарков попали также 8 решений Сбера, 3 инструмента от института AIRI, 2 от Vikhr Models, по одному – от МГУ, ВШЭ, Skoltech, Альянса в сфере искусственного интеллекта, LLM Arena и KUK LAB. Эти разработчики создали собственные наборы данных, тестов и заданий для оценки производительности моделей искусственного интеллекта по различным метрикам.
