• Астрономы обнаружили потенциально обитаемую планету «недалеко» от Земли (2 фото + видео)

    Астрономы обнаружили новую экзопланету HD 20794 d, классифицированную как суперземля и расположенную в 19,6 светового года от нас. Планета находится в обитаемой зоне своей звезды, что предполагает возможность наличия жидкой воды на её поверхности.
    Читать дальше
  • NASA обнаружило «элементы жизни» в образцах астероида Бенну (2 фото)

    Учёные NASA проанализировали образцы, собранные с астероида Бенну в ходе миссии OSIRIS-REx, и нашли в них органические соединения, играющие важную роль в происхождении жизни. В частности, были обнаружены фундаментальные элементы, необходимые для синтеза белков и формирования ДНК.
    Читать дальше
  • DOOM запустили на HDMI-переходнике Apple (видео)

    Среди энтузиастов со всего мира стало своеобразным состязанием запускать DOOM на любой электронике и не только. Оказывается, поиграть в культовый шутер можно даже на HDMI-переходнике Apple. Таким достижением поделилась девушка-программист под ником Nyan Satan.
    Читать дальше
  • Совершён первый в истории видеозвонок через космос между обычными смартфонами

    Спутниковый провайдер AST SpaceMobile и оператор мобильной связи Vodafone из Великобритании сообщили об успешном выполнении видеозвонка между двумя немодифицированными смартфонами с использованием спутниковой связи. В 2023 году AST осуществила первый в истории звонок между обычными смартфонами через спутник, а также первый такой звонок че...
    Читать дальше
  • Первый отрезок гигантского «лежачего небоскрёба» The Line в Саудовской Аравии построят к 2030 году (3 фото)

    На Всемирном экономическом форуме в Давосе стали известны новые подробности о мегапроекте Neom в Саудовской Аравии. В частности, появилась новая информация о строительстве города The Line («Линия») длиной 170 км и высотой 500 м. На форуме представитель проекта сообщил, что закладка фундамента для первой очереди «лежачего небоскрёба» начнё...
    Читать дальше

Энтузиасты запустили современную ИИ-модель Llama на древнем ПК с Pentium II и Windows 98

31 декабря 2024 | Просмотров: 7 240 | Новости IT

Специалисты из EXO Labs сумели запустить довольно мощную большую языковую модель (LLM) Llama на 26-летнем компьютере, работающем под управлением операционной системы Windows 98. Исследователи наглядно показали, как загружается старый ПК, оснащённый процессором Intel Pentium II с рабочей частотой 350 МГц и 128 Мбайт оперативной памяти, после чего осуществляется запуск нейросети и дальнейшее взаимодействие с ней.

Для запуска LLM специалисты EXO Labs задействовали собственный интерфейс вывода для алгоритма Llama98.c, который создан на базе движка Llama2.c, написанного на языке программирования C бывшим сотрудником OpenAI и Tesla Андреем Карпатым (Andrej Karpathy). После загрузки алгоритма его попросили создать историю о Сонном Джо. Удивительно, но ИИ-модель действительно работает даже на таком древнем ПК, причём история пишется с хорошей скоростью.

Загадочная организация EXO Labs, сформированная исследователями и инженерами из Оксфордского университета, вышла из тени в сентябре этого года. Согласно имеющимся данным, она выступает за открытость и доступность технологий на базе искусственного интеллекта. Представители организации считают, что передовые ИИ-технологии не должны находиться в руках горстки корпораций, как это происходят сейчас. В дальнейшем они рассчитывают «построить открытую инфраструктуру для обучения передовых ИИ-моделей, что позволит любому человеку запускать их где угодно». Демонстрация возможности запуска LLM на древнем ПК, по их мнению, доказывает то, что ИИ-алгоритмы могут работать практически на любых устройствах.

В своём блоге энтузиасты рассказали, что для реализации поставленной задачи на eBay был приобретён старый ПК с Windows 98. Затем, подключив устройство в сеть с помощью разъёма Ethernet, они через FTP сумели передать в память устройства нужные данные. Вероятно, компиляция современного кода для Windows 98 оказалась более сложной задачей, решить которую помогла опубликованная на GitHub работа Андрея Карпатого. В конечном счёте удалось добиться скорости генерации текста в 35,9 токенов в секунду при использовании LLM размером 260K с архитектурой Llama, что весьма неплохо, учитывая скромные вычислительные возможности устройства.


Комментарии: 0

В Вашем браузере отключен JavaScript. Для корректной работы сайта настоятельно рекомендуется его включить.