Ученые сократили время предобучения языковых моделей на 50%

Ученые сократили время предобучения языковых моделей на 50%

Исследователи из Университета Ватерлоо представили метод, который значительно ускоряет и удешевляет создание больших языковых моделей (LLM). Разработка может сделать мощные инструменты искусственного интеллекта (ИИ) доступнее для широкого круга пользователей. Технология под названием SubTrack++ сокращает время предобучения модели — самый затратный этап — до 50%. При этом точность работы системы не только сохраняется, но и превышает современные аналоги. Создание LLM требует огромных вычислительных ресурсов, специального оборудования и электроэнергии, что ограничивает разработку крупными корпорациями. Новый метод фокусируется на ключевых параметрах модели, упрощая процесс корректировки ошибок. Как пояснили авторы, обучение похоже на чтение целой библиотеки для понимания закономерностей языка. SubTrack++ позволяет эффективнее выстраивать этот процесс. Исследование способствует развитию доступного и ответственного ИИ. Ускорение и снижение стоимости обучения откроет возможность создания персонализированных цифровых помощников, адаптированных под индивидуальные нужды....
23:55, 10.12.2025
Сообщает источник: www.ferra.ru  
Рубрика: «Наука и Техника»   Поделитесь: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Serverspace проанализировал сценарии использования языковых моделейServerspace проанализировал сценарии использования языковых моделей Международный облачный провайдер Serverspace, входит в корпорацию ITG, проанализ ...

В СПЧ заявили о важности введения понятия национальных языковых моделейВ СПЧ заявили о важности введения понятия национальных языковых моделей Член Совета по развитию гражданского общества и правам человека Элина Сидоренко ...

Grok 3 против ChatGPT: больше языковых моделей хороших и разныхGrok 3 против ChatGPT: больше языковых моделей хороших и разных Илон Маск на днях сообщил, что его стартап xAI выпустил новую версию чат-бота Gr ...

Tiiny AI показала карманный суперкомпьютер для ИИ, который тянет миллиарды языковых моделей локальноTiiny AI показала карманный суперкомпьютер для ИИ, который тянет миллиарды языковых моделей локально Американский стартап Tiiny AI представил Pocket Lab — миниатюрный персональный с ...

Поэтический джейлбрейк: стихи оказались ключом к обходу ограничений больших языковых моделей«Поэтический джейлбрейк»: стихи оказались ключом к обходу ограничений больших языковых моделей Учёные обнаружили, что большие языковые модели (LLM), такие как GPT-4, можно обм ...

Группа Rubytech и Just AI представят готовое решение для запуска и использования больших языковых моделей (LLM) в on-premise инфраструктуреГруппа Rubytech и Just AI представят готовое решение для запуска и использования больших языковых моделей (LLM) в on-premise инфраструктуре Скала^р (Группа Rubytech) и разработчик ИИ-решений Just AI подписали соглашение ...

Запреты запретами, а ускорители Nvidia всё ещё нужны. Китайские гиганты Alibaba и ByteDance продолжают использовать их для обучения языковых моделейЗапреты запретами, а ускорители Nvidia всё ещё нужны. Китайские гиганты Alibaba и ByteDance продолжают использовать их для обучения языковых моделей Китай уже почти полностью запретил использование западных ускорителей для ИИ в ц ...

Является ли хот-дог сэндвичем AMD локально и одновременно запустила восемь языковых моделей на процессоре Ryzen AI Max 395 и заставила их обсуждать эЯвляется ли хот-дог сэндвичем? AMD локально и одновременно запустила восемь языковых моделей на процессоре Ryzen AI Max+ 395 и заставила их обсуждать этот вопрос Компания AMD провела довольно занятную демонстрацию возможностей своего процессо ...

Ученые подсчитали, на сколько цифровые технологии сократили отмывание денегУченые подсчитали, на сколько цифровые технологии сократили отмывание денег Исследователи кафедры экономической экспертизы и финансового мониторинга РТУ МИР ...

В Госдуме хотят, чтобы рабочее время в РФ сократили до шести часов в деньВ Госдуме хотят, чтобы рабочее время в РФ сократили до шести часов в день Депутаты фракции КПРФ Юрий Афонин, Георгий Камнев и Алексей Куринный предлагают ...

Метрика CRASH Clock показала: мега-группировки спутников сократили безопасное время на орбите с 121 до 3 днейМетрика CRASH Clock показала: мега-группировки спутников сократили «безопасное» время на орбите с 121 до 3 дней Команда учёных из Принстонского университета, Университета Британской Колумбии и ...

Учёные ВМК МГУ предложили новый подход к формальной верификации нейросетевых моделейУчёные ВМК МГУ предложили новый подход к формальной верификации нейросетевых моделей Представители факультета ВМК МГУ имени М.В. Ломоносова разработали и протестиров ...

Учёные решили одну из главных проблем ИИ-моделей  создан первый ИИ с бесконечной памятьюУчёные решили одну из главных проблем ИИ-моделей — создан первый ИИ с «бесконечной» памятью Учёные из Массачусетского технологического института (MIT) элегантно решили одну ...

Ученые из России нашли способ повысить безопасность кода при помощи моделей искусственного интеллектаУченые из России нашли способ повысить безопасность кода при помощи моделей искусственного интеллекта Ученые Центра практического искусственного интеллекта Сбербанка рассказали про э ...

Во время бега время замедляется на 20%, выяснили ученыеВо время бега время "замедляется" на 20%, выяснили ученые Ученые из Итальянского технологического института установили, что время бега люд ...

Более 30 моделей смартфонов и планшетов Xiaomi, Redmi и Poco в ближайшее время получат HyperOS 2.2: список устройствБолее 30 моделей смартфонов и планшетов Xiaomi, Redmi и Poco в ближайшее время получат HyperOS 2.2: список устройств Xiaomi готовится к масштабному развертыванию HyperOS 2.2: релиз состоится на сле ...

Выпущено уже 60 моделей видеокарт семейства Nvidia Gigabyte RTX 50. Gigabyte добавила ещё шесть моделейВыпущено уже 60 моделей видеокарт семейства Nvidia Gigabyte RTX 50. Gigabyte добавила ещё шесть моделей Gigabyte обновила свою линейку продуктов серии RTX 50 на своем официальном сайте ...

Ученые объяснили дрожь во время холодаУченые объяснили дрожь во время холода Несмотря на множество слоев одежды, тело человека начинает дрожать во время холо ...

Microsoft представила инструменты для защиты конфиденциальности в больших языковых моделяхMicrosoft представила инструменты для защиты конфиденциальности в больших языковых моделях Microsoft представила два новых подхода к обеспечению контекстуальной целостност ...

Организатор языковых патрулей в Киргизии безнаказанно разжигает межнац в странеОрганизатор «языковых патрулей» в Киргизии безнаказанно разжигает межнац в стране Организатор «языковых патрулей» в Киргизии продолжает безнаказанно разжигать меж ...

VSMI.DAY Поиск в новостях