Алгоритм HARP от исследователей МФТИ позволяет сжимать крупные языковые модели до 2–4 бит после обучения без серьёзной потери качества. Это снижает требования к памяти и вычислениям в дата-центрах, что особенно актуально при ограниченном доступе к GPU.
Метод основан на обучении структурированных ортогональных вращений с разреженными блоками, адаптирующими основу квантизации под конкретный слой. Он не требует полного дообучения, достаточно калибровки на небольшой выборке данных, и легко дополняет существующие подходы вроде QTIP.
Как работает алгоритм МФТИ и что даёт сжатие моделей Llama Qwen
HARP применяет обратимые преобразования на основе матриц Адамара, чтобы улучшить распределение весов перед квантизацией. Это уменьшает ошибку при переходе к низкой разрядности и сохраняет эквивалентность исходной точности через обратимые операции.
В отличие от фиксированных вращений, алгоритм подстраивает преобразования под каждый слой. В результате модели Llama 2-70B и Qwen3-8B показывают прирост точности по сравнению с базовыми методами, особенно заметный при 2-битной квантизации.
На практике это означает, что разработчики могут запускать более крупные модели на доступном оборудовании. Для России, где действуют ограничения на поставки GPU, такое решение помогает эффективнее использовать существующие сервера.
- Снижение perplexity на 12–15 % при 2 битах по сравнению с фиксированными методами.
- Скорость инференса на 7B-модели достигает 128 токенов в секунду против 61 токена в FP16.
- Сохранение около 90 % скорости сильного baseline при вдвое меньшем потреблении памяти.
Оптимизация ИИ дата-центры: влияние на энергопотребление и масштабирование
Снижение footprint модели позволяет размещать больше задач на одном сервере. По прогнозам, потребление электроэнергии российскими дата-центрами вырастет на 76 % к 2030 году и достигнет 26,2 млрд кВт·ч. Алгоритмы вроде HARP помогают замедлить этот рост за счёт более плотной утилизации железа.
Тесты показали, что 2-битные версии моделей с HARP работают быстрее FP16 в 2,1 раза при сопоставимом качестве. Это важно для операторов, которые стремятся обслуживать больше запросов без закупки дополнительных ускорителей.
Препринт опубликован на arXiv (arXiv:2605.29843), код открыт на GitHub, а сжатые модели доступны на Hugging Face. Авторы — Артур Загитов, Глеб Молодцов и Александр Безносиков. Планируется расширить метод на другие компоненты инференса, включая активации.
| Модель | Формат | Скорость (ток/с) | Perplexity |
|---|---|---|---|
| Llama 2-7B | FP16 | 61 | базовый |
| Llama 2-7B | 2-bit baseline | 142 | выше |
| Llama 2-7B | 2-bit + HARP | 128 | ниже на 12–15 % |
Интеграция HARP в существующие пайплайны не требует серьёзных изменений инфраструктуры. Для команд, работающих с Llama и Qwen, это даёт возможность быстрее тестировать новые конфигурации и снижать расходы на вычисления в условиях растущей нагрузки на дата-центры.
Частые вопросы
Что такое HARP и как он отличается от обычной квантизации?
HARP — алгоритм МФТИ, который перед квантизацией применяет адаптивные ортогональные вращения. Это позволяет сохранить точность при 2–4 битах, в отличие от фиксированных преобразований, где качество падает сильнее.
На каких моделях тестировали алгоритм?
Тесты проводили на семействе Llama от 1B до 70B параметров и на Qwen3-8B. Наибольший прирост точности зафиксирован при 2-битной квантизации.
Как HARP влияет на скорость инференса?
На 7B-модели скорость выросла до 128 токенов в секунду против 61 в FP16. При этом сохраняется около 90 % от скорости сильного baseline при значительно меньшем объёме памяти.
Где доступны код и модели HARP?
Препринт лежит на arXiv, код опубликован на GitHub, а сжатые модели — на Hugging Face. Интеграция в существующие фреймворки минимальна.
Комментарии 1