Российские ученые создали тест для оценки ИИ на длинных текстах

Российские ученые создали тест для оценки ИИ на длинных текстах

Ученые из SberAI, НИУ ВШЭ, Института искусственного интеллекта AIRI и МФТИ разработали первый комплексный инструмент для оценки способности больших языковых моделей работать с длинными текстами на русском языке. Тест решает проблему отсутствия единого стандарта для сравнения таких систем. Инструмент представляет собой «экзамен» из 18 заданий, проверяющих понимание текстов объемом от 4 тысяч до 128 тысяч структурных элементов. Задания включают поиск конкретных фраз, ответы на вопросы и объединение фактов из разных частей документа. С помощью этого теста ученые сравнили 17 популярных моделей. Результаты показали, что качество работы даже самых продвинутых систем снижается с увеличением длины текста. Разработка поможет в создании ИИ, эффективно работающих с большими объемами русскоязычной информации....
16:33, 02.12.2025
Сообщает источник: www.ferra.ru  
Рубрика: «Наука и Техника»   Поделитесь: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Российские ученые создали ИИ для оценки рыночной стоимости объектов искусстваРоссийские ученые создали ИИ для оценки рыночной стоимости объектов искусства Ученые МФТИ и МГУ создали ИИ для оценки современного искусства. Алгоритм анализи ...

В России создали тест для оценки медицинских ИИ-системВ России создали тест для оценки медицинских ИИ-систем Специалисты Сбера, ВШЭ и Института системного программирования РАН разработали с ...

Пензенские ученые создали приложение для оценки рентгеновских снимковПензенские ученые создали приложение для оценки рентгеновских снимков В пресс-службе Минобрнауки РФ сообщили, что ученые Пензенского государственного ...

Российские ученые разработали программу для оценки индивидуальных профессиональных рисков здоровью на производствахРоссийские ученые разработали программу для оценки индивидуальных профессиональных рисков здоровью на производствах Российские ученые разработали программу для оценки индивидуальных профессиональн ...

Российские ученые создадут тест-систему для диагностики меланомыРоссийские ученые создадут тест-систему для диагностики меланомы Специалисты Ульяновского педагогического университета приступили к созданию тест ...

Российские ученые создали лёгкое-на-чипеРоссийские ученые создали «лёгкое-на-чипе» Ученые из НИИ пульмонологии ФМБА России разработали миниатюрную модель человечес ...

Российские учёные создали ИИ для анализа клетокРоссийские учёные создали ИИ для анализа клеток Учёные из Университета ИТМО в Санкт-Петербурге разработали программу, которая по ...

Ученые проверили, как ИИ распознает признаки депрессии в русских текстахУченые проверили, как ИИ распознает признаки депрессии в русских текстах Российские ученые провели первое всестороннее исследование способностей искусств ...

Российские ученые создали самовосстанавливающееся покрытие для реакторовРоссийские ученые создали самовосстанавливающееся покрытие для реакторов В Минобрнауки РФ сообщили, что ученые Томского политехнического университета (ТП ...

Российские ученые создали имплант для лечения остеопорозаРоссийские ученые создали имплант для лечения остеопороза Ученые из Томского государственного университета (ТГУ) совместно с коллегами из ...

Российские ученые создали ткань, вырабатывающую электричествоРоссийские ученые создали ткань, вырабатывающую электричество В пресс-службе Санкт-Петербургского государственного университета промышленных т ...

Российские ученые создали биосенсор для диагностики астмыРоссийские ученые создали биосенсор для диагностики астмы Российские ученые разработали прототип биосенсора, способного выявлять астму и с ...

Российские ученые создали водостойкое покрытие для судовРоссийские ученые создали водостойкое покрытие для судов Специалисты из Санкт-Петербургского государственного электротехнического универс ...

Российские ученые создали новый неопиоидный анальгетикРоссийские ученые создали новый неопиоидный анальгетик В пресс-службе Саратовского государственного медицинского университета (СГМУ) им ...

Российские ученые создали жаропрочную сталь для энергетикиРоссийские ученые создали жаропрочную сталь для энергетики В пресс-службе Минобрнауки РФ сообщили, что ученые Белгородского государственног ...

Российские ученые создали симулятор для тестирования автопилотовРоссийские ученые создали симулятор для тестирования автопилотов В пресс-службе Института искусственного интеллекта AIRI сообщили, что ученые раз ...

Российские учёные создали невидимый сверхпроводящий диодРоссийские учёные создали «невидимый» сверхпроводящий диод Физики из МФТИ и Института теоретической физики им. Л.Д. Ландау РАН разработали ...

Российские учёные создали бублик для электроники будущегоРоссийские учёные создали «бублик» для электроники будущего Учёные из Новгородского государственного университета (НовГУ) усовершенствовали ...

Российские ученые создали ИИ для поиска новых красителейРоссийские ученые создали ИИ для поиска новых красителей В пресс-службе Российского научного фонда (РНФ) сообщили, что ученые разработали ...

Российские ученые создали эндопротез для спасения конечностейРоссийские ученые создали эндопротез для спасения конечностей В России появилась новая инженерно-тканная разработка, позволяющая избежать ампу ...

VSMI.DAY Поиск в новостях