GLM-5.1 REAP серія моделей випущена, пропонує різні варіанти кількісного зменшення та обрізки

ME News Новини, 22 квітня (UTC+8), нещодавно була випущена серія моделей GLM-5.1 REAP на основі 7440-мільярдного параметричного BF16-моделю GLM-5.1.
Ця серія створена за допомогою обрізки REAP та різних технологій кількісного зменшення, щоб адаптуватися до різного апаратного забезпечення.
Обрізка REAP оцінює внесок кожного експерта у гібридній моделі експертів, видаляє найменш внескових експертів та перенумеровує маршрутизуючі ворота, щоб мінімізувати втрати якості.
Серія пропонує кілька основних варіантів, включаючи BF16, NVFP4, GPTQ W4A16 та формат GGUF, з розміром параметрів від приблизно 285 ГБ до 1125 ГБ, оптимізованих для різних архітектур GPU або CPU, таких як Hopper, Ampere, Blackwell.
Усі моделі використовують ліцензію MIT і можуть бути розгорнуті за допомогою движків, таких як sglang, vLLM або llama.cpp.
(Джерело: InFoQ)