Метод HARP от исследователей МФТИ улучшает посттренировочное квантование нейросетей и позволяет запускать модели Llama и Qwen3 на 2 битах с меньшими ошибками. Алгоритм работает без дообучения всей модели и снижает требования к памяти дата-центров.
Что такое HARP и как он появился
Алгоритм HARP разработали в лаборатории BRAIn Lab МФТИ Артур Загитов, Глеб Молодцов и Александр Безносиков. Метод опубликовали в препринте arXiv:2605.29843 в октябре 2026 года, код выложили на GitHub, а сжатые модели — на Hugging Face.
HARP добавляет к стандартным квантизаторам, таким как QuIP#, обратимые ортогональные преобразования на основе разреженных блоков, инициализированных из случайного преобразования Адамара. Преобразования подбирают только на калибровочных данных.
Как работает алгоритм сжатия
На каждом слое перед квантованием применяют обучаемые структурированные вращения. Это уменьшает ошибки при переходе к 2–4 битам по сравнению с фиксированными преобразованиями.
Процесс занимает время на настройку слоёв, но после калибровки модель работает быстрее и требует меньше памяти. Метод дополняет существующие инструменты квантования, а не заменяет их.
Практические шаги применения
- Загрузить исходную модель и калибровочный набор данных.
- Запустить оптимизацию вращений на слоях с помощью открытого кода.
- Применить квантование (2–4 бита) и проверить перплексию.
- Развернуть сжатую модель на серверах с ограниченной памятью.
Результаты тестов на моделях Llama и Qwen
На моделях семейства Llama от 1B до 70B параметров и Qwen3-8B алгоритм снижал перплексию на 12–15 % при 2-битном квантовании. На задаче ARC-Challenge точность 2-битной Llama 2 7B выросла с 29,7 % до 33 % при исходном FP16 уровне около 40 %.
| Модель | Скорость (токен/с) | Сравнение с FP16 |
|---|---|---|
| Llama 2 7B 2-bit HARP | 128 | 2,1× быстрее |
| Оригинал FP16 | 61 | — |
| Другой метод трансформации | 142 | 2,3× быстрее |
Влияние на нагрузку дата-центров
Переход с 16 бит на 2–4 бита сокращает объём памяти и вычислительную нагрузку. В России потребление электроэнергии дата-центрами к 2030 году может вырасти на 76 % до 26,2 млрд кВт·ч, и методы вроде HARP помогают сдерживать рост.
Сжатые модели можно запускать на более доступном оборудовании, что особенно важно при ограничениях на импорт GPU. Сохраняется около 90 % скорости от других быстрых методов при двукратном ускорении относительно FP16.
Ограничения и следующие шаги
Алгоритм требует времени на пер-слойную оптимизацию и пока протестирован на семействах Llama и Qwen. Исследователи МФТИ отмечают, что метод полезен именно при жёстких ограничениях по памяти и мощности.
Ожидается интеграция HARP в популярные пайплайны квантования и проверка на дополнительных моделях и бэкендах. Код и модели уже доступны для экспериментов.
Частые вопросы
Нужно ли дообучать модель после применения HARP?
Нет, метод использует только калибровочные данные для настройки вращений и не требует полного дообучения. Это сокращает время и ресурсы на сжатие.
На каких моделях проверяли HARP?
Тесты провели на моделях Llama от 1B до 70B параметров и Qwen3-8B. Результаты показали снижение ошибок при 2-битном квантовании.
Как HARP влияет на скорость инференса?
2-битная версия Llama 2 7B выдаёт около 128 токенов в секунду, что в 2,1 раза быстрее оригинала FP16 и сохраняет 90 % скорости от других методов трансформации.
Можно ли использовать HARP вместе с другими квантизаторами?
Да, алгоритм работает поверх существующих решений, таких как QuIP#, и улучшает их результаты без замены базового квантования.
Комментарии
Комментариев пока нет. Будьте первым!