Alibaba нашла способ сократить потребность в количестве используемых ускорителей Nvidia на 82 %
Нехватка вычислительных мощностей, присущая динамично развивающемуся рынку искусственного интеллекта, в Китае усугубляется ограничениями на импорт специализированных ускорителей. Разработчики вынуждены заниматься оптимизацией, и Alibaba нашла способ сократить количество необходимых ускорителей Nvidia для работы своих языковых моделей на 82 %.
Как поясняет South China Morning Post, бета-тестирование профильной системы Aegaeon уже проводится одним их подразделений Alibaba Cloud на протяжении более чем трёх месяцев. По информации, представленной Alibaba на мероприятии SOSP в столице Южной Кореи, данная система позволила сократить количество обслуживающих десятки языковых моделей ускорителей Nvidia H20 с 1192 до 213 штук. При этом соответствующие языковые модели используют до 72 млн параметров, как поясняет источник.
Представителям Alibaba в создании такой системы помогали учёные Пекинского университета, которые назвали её «первой попыткой выявить излишние затраты, связанные с одновременным обслуживанием нагрузок с большими языковыми моделями». Провайдеры облачных услуг типа Alibaba сталкиваются с необходимостью одновременного обслуживания тысяч ИИ-моделей, но в сфере инференса наиболее часто используются лишь несколько моделей типа Qwen или DeepSeek, а прочие вызываются довольно редко. Это приводит к нерациональному расходованию ресурсов. В экосистеме Alibaba Cloud, например, до 17,7 % ускорителей выделяются для обработки 1,35 % запросов.
Исследователи во всём мире начали предлагать повысить эффективность использования вычислительных ресурсов за счёт объединения в пулы, когда один GPU обслуживает несколько моделей. Система Aegaeon использует автомасштабирование на уровне токенов, позволяющее GPU переключаться между разными моделями прямо в процессе генерирования токенов. Один GPU в результате способен обрабатывать до семи моделей, тогда как в альтернативно устроенных системах их количество в лучшем случае достигает двух или трёх. Задержки, необходимые на переключение между моделями, при этом сократились на 97 % в случае с Aegaeon.
Alibaba эту систему испытывает на маркетплейсе моделей Bailian, который предлагает модели Qwen корпоративным пользователям. Ускорители Nvidia H20 одноимённой американской компанией были созданы специально для китайского рынка, в апреле они попали под временный запрет на поставку в КНР, но к лету он был снят. Однако, китайские власти начали настоятельно рекомендовать национальным разработчикам отдавать предпочтение местной компонентной базе. В результате позиции Nvidia на китайском рынке передовых чипов для ИИ, по словам руководителя компании, буквально сократились до нуля.