Что меняется при переходе с облака на локальную сборку#

Что меняется, когда Hy4 Flash переходит из размещаемого сервиса в квантованный файл на вашем собственном оборудовании? Разработчик задал этот вопрос команде Tencent Hy на r/LocalLLaMA после того, как столкнулся с ошибками в привычной рабочей задаче. Ответ указал на выбор метода квантования и калибровку. Он также поднял более практический вопрос для всех, кто подбирает локальное оборудование: какие варианты относятся к Flash, что документировано для флагманского Hy4 и сколько места файлы оставляют для инференса? Сессия началась в полночь в Шанхае 21 ноября, то есть в 8:00 утра по тихоокеанскому времени 20 ноября, вслед за публикацией весов флагманской Hy4 ранее в тот же день. Reddit Q&A

Разработчик сообщил, что размещаемая версия выполнила задачу без ошибок, а локальная сборка NVFP4 не справилась примерно в 8% случаев. В сообщении указана смешанная GPU-конфигурация и 96 ГБ системной памяти, но не приводятся публичный набор задач, число повторений и точность размещаемого бэкенда. GeoMorax из Tencent направил читателя к калиброванной по GPTQ сборке NVFP4 команды и сказал, что Tencent в собственной оценке зафиксировала небольшой разрыв относительно BF16. Это два разных описания двух разных оценок. Их различные базовые линии важны до того, как любой из результатов повлияет на решение о закупке оборудования. Отчёт разработчика и ответ Tencent

Главный вопрос в AMA — это вопрос читателя о бенчмарке квантованного Flash. Локальный пользователь сообщил, что запуск Flash NVFP4 завершился сбоем в задаче, на которую пользователь обычно полагается. В ответе команды в качестве факторов, способных менять результат, были названы метод квантования и калибровка. Это более узкое и более полезное утверждение, чем общая оценка Flash. Оно означает, что первый вопрос не в том, хорош Flash или плох в абстрактном смысле. Первый вопрос — что именно сравнивалось: одна и та же ревизия модели, один и тот же формат весов, один и тот же файл, одна и та же среда выполнения и ядра, одна и та же длина промпта и одно и то же правило подсчёта оценки. Без такого соответствия сбой может быть проблемой формата, проблемой калибровки, проблемой среды выполнения, проблемой чувствительности к задаче или их комбинацией. Сам по себе он не может быть возведён в вывод на уровне модели.

Reddit AMA-ветка на r/LocalLLaMA · Ответ о Flash NVFP4 и калибровке

Квантованный Flash: сначала сопоставьте тестовый контекст, потом судите о результате#

Квантование — это не единое свойство, которое переносится между файлами без изменений. Это семейство решений о численной точности, представлении весов, калибровочных данных, масштабировании, ядрах и интеграции среды выполнения. Модельная карточка может указывать формат, а репозиторий — публиковать файл, но поведение этого файла всё равно зависит от стека инференса, который его загружает, и от рабочей нагрузки, которая его задействует. Здесь полезен общий контекст: форматы более низкой точности обменивают численный диапазон или разрешение на память и скорость, а калибровка помогает решить, как отобразить реальные диапазоны весов или активаций в доступное представление. Поэтому разные калибровочные данные или разные реализации ядер могут давать разные выходы, особенно в задачах, чувствительных к малым численным изменениям. Ответ в AMA согласуется с этой общей картиной; он не устанавливает универсального рейтинга форматов.

Ключевое различие — между локальным отчётом пользователя и эталонным сравнением команды. Результат пользователя с NVFP4 относится к одному тестовому контексту: одна машина, одна среда выполнения, один файл, одна задача и один метод оценки. Сравнение команды с BF16 относится к другому контексту: другая точность, вероятно, другой путь среды выполнения и, возможно, другая схема оценки. Оба контекста могут быть честными и всё же не быть напрямую сопоставимыми. Один не опровергает другой. Результат BF16 может показать, что модель делает при эталонной точности, не доказывая, что конкретный файл NVFP4 сохранит такое поведение на нагрузке пользователя. Сбой пользователя может показать, что конкретная локальная конфигурация недопустима для этой нагрузки, не доказывая, что все сборки Flash работают с ошибками. Правильное прочтение — условное: этот файл, эта среда выполнения, эта задача, этот результат.

Пример 1 — неудачная задача Flash NVFP4 не является приговором Flash. Предположим, разработчик прогоняет файл Flash NVFP4 через локальную среду выполнения и обнаруживает, что в задаче структурированного извлечения теряется порядок полей или пропадает обязательный ключ. У разработчика также есть результат BF16 из другого окружения, в котором поля сохраняются. Полезный следующий шаг — не объявлять Flash непригодным. Нужно зафиксировать ревизию модели и менять по одному фактору: BF16 против NVFP4 в одной и той же среде выполнения; два файла NVFP4 с разной калибровкой или упаковкой; один и тот же файл с другим путём ядра; один и тот же файл с более коротким промптом или меньшим батчем. Если сбой следует за файлом между средами выполнения, главным подозреваемым является файл или его калибровка. Если сбой следует за средой выполнения, главным подозреваемым является ядро или интеграция. Если сбой проявляется только на длинном контексте или большом батче, частью объяснения является форма рабочей нагрузки. Это иллюстративный рабочий процесс, а не сообщённый результат теста.

Поэтому вопрос о бенчмарке следует формулировать как договорённость о сравнении. В нём должны быть указаны точный идентификатор и ревизия модели, формат весов, ревизия файла или репозитория, среда выполнения и сборка ядра, рецепт квантования, если он опубликован, промпт или набор для оценки, длина контекста, размер батча, настройки сэмплирования и метод подсчёта оценки. Следует также зафиксировать, является ли сравнение онлайновым или локальным, потому что онлайн-эндпоинт и локальный файл — это разные контексты обслуживания, даже если семейство моделей одно и то же. Если какое-то из этих полей отсутствует, результат всё ещё является доказательством, но более слабым. Он может оправдать локальную осторожность. Он не может оправдать широкое утверждение о семействе моделей.

В модельной карточке Tencent указано 12 миллиардов активных параметров на токен для Hy4 Flash и компонент Engram на 64 миллиарда параметров. Активное число описывает путь вычислений для токена. Планирование мощностей также должно учитывать хранимые веса, буферы среды выполнения, размер батча, длину контекста и выбранное квантование. Это различие важно, даже когда две сборки имеют одинаковое число активных параметров и предоставляют одинаковый чат-интерфейс. Они могут занимать разный объём памяти, отправлять разную работу на GPU и вести себя по-разному в задаче, которую команда действительно должна выполнять.

Модельная карточка Hy4-flash · Репозиторий Flash GGUF

Сборки Flash и поддержка флагмана — это разные направления#

AMA становится легче читать, если провести границу между Flash и флагманским Hy4. Flash — это более компактная и быстрая ветвь, где квантованные сборки и файловые форматы, обращённые к сообществу, играют центральную роль в локальных экспериментах. Флагманский Hy4 — это гораздо более крупная модель с собственной опубликованной историей развёртывания. В модельной карточке Hy4 указан языковой бэкбон на 770B и 49B активированных параметров на токен. Она также документирует официальную поддержку FP8 и содержит ссылки на сжатые GGUF-артефакты. Это конкретные, проверяемые факты о опубликованной поверхности поддержки флагмана. Они не являются доказательством того, что включён каждый формат квантования, и не являются доказательством того, что конкретная локальная машина сможет вместить модель.

Ответ команды о флагманских форматах проводит границу, важную для всех, кто собирает локальный стек. Ответ указывает, что такие форматы, как NVFP4, для флагмана не включены, а ссылка на сообщество, приведённая в этом контексте, — это пример для Flash. Эту границу легко размыть, потому что у семейства моделей общее имя и потому что обе ветви появляются в одной AMA-ветке. Файл Flash NVFP4 и файл флагманского NVFP4 — не взаимозаменяемые решения для развёртывания. Квантованная сборка Flash может быть активной частью локальной экосистемы. Наличие флагманской сборки NVFP4 этим обсуждением не подтверждается. Документированный путь FP8 флагмана и связанные с ним сжатые GGUF-артефакты — вот подходящие отправные точки; из активности вокруг Flash не следует делать вывод об отсутствии поддержки какого-либо формата.

Пример 2 — флагманский файл NVFP4 и файл Flash NVFP4 — это разные решения. Представьте оператора с фиксированным бюджетом на GPU, который видит сообщение сообщества о NVFP4 и предполагает, что тот же путь применим к Hy4. Оператору следует прежде всего спросить, к какой ветви модели относится сообщение. Если речь о Flash, оно говорит что-то о более компактной ветви и её квантованной экосистеме. Оно не устанавливает, что у флагмана есть включённый путь NVFP4. Для флагмана оператору следует исходить из документированной поддержки FP8 и связанных сжатых GGUF-артефактов, а затем проверить точную комбинацию файла и среды выполнения. Если оператору нужен именно NVFP4, правильный вывод из AMA таков: флагманский NVFP4 в этом ответе не подтверждён, а не то, что флагманский файл NVFP4 был проверен где-то ещё. Это пример дерева решений, а не утверждение о производительности.

Планирование памяти также зависит от ветви. Тот факт, что модель можно описать как 49B активных на токен, не означает, что ей нужна только память, связанная с 49B параметров. Активные параметры описывают путь вычислений; резидентная память весов зависит от общего объёма хранимых весов и формата. Помимо весов, локальному развёртыванию нужен запас для буферов среды выполнения, внимания или KV-кэша, батчинга и контекста. Одна и та же модель на более длинном контексте может потребовать существенно больше памяти, чем демонстрация с коротким промптом. Вот почему параметрическая метка модели, размер квантованного файла и оперативная память машины — это три разных числа. Решение о развёртывании требует всех трёх, плюс измеренный запуск.

Модельная карточка Hy4 · Ответ о флагманских форматах

Вопрос о 64–128 ГБ: это язык дорожной карты, а не спецификация памяти#

Дискуссия о 64–128 ГБ — это часть AMA, которую скорее всего переосмыслят. Два разных ответа указывают на то, что более компактные модели всё ещё планируются. В одном ответе упоминается Hy4-mini в дорожной карте. Другой посвящён вопросу о диапазоне оперативной памяти 64–128 ГБ. Это связанные сигналы, но не объявление продукта. Диапазон — это вопрос сообщества о рамке памяти; это не опубликованная поддерживаемая конфигурация. Упоминание дорожной карты — это заявление о намерении или направлении; это не дата запуска, не перечень файлов и не проверенная цель развёртывания. Это различие не придирчивость. Локальные операторы закладывают оборудование в бюджет исходя из поддерживаемых конфигураций, и разговор о дорожной карте легко может случайно стать спецификацией для закупки, если повторять его без указания статуса.

В материале, использованном здесь, нет обязательств по запуску. Это отсутствие само по себе является результатом. Оно означает, что читателю не следует выводить сроки выпуска, размер модели, план квантования или минимальные требования к памяти из обмена о 64–128 ГБ. В той же AMA команда обсуждала постобучение и работу над более крупными моделями. Эти темы показывают, что оптимизация существующих моделей, сокращение масштаба развёртывания и создание более крупных моделей — это разные рабочие потоки. Пункт дорожной карты о более компактной модели не означает, что флагман заменяется. Дискуссия о постобучении не означает новый чекпоинт. Вопрос о диапазоне памяти не означает, что модель подогнана под этот диапазон. Каждое утверждение нужно держать в своей полосе.

Пример 3 — превратите вопрос о 64–128 ГБ в тестовый план, а не в заявление о поддержке. Предположим, у команды есть машина с 96 ГБ, и она хочет знать, даёт ли AMA ей зелёный свет. Не даёт. Полезный ответ — определить тестовую матрицу: какая ветвь модели, какой документированный формат, какой точный файл, какая среда выполнения, какие длины контекста и какие размеры батча. Команде следует измерить пиковую резидентную память и качество выходов для каждой комбинации, а не считать середину диапазона сообщества целью. Если сборка Flash помещается при коротком контексте, но даёт сбой на требуемой для команды длине контекста, машина не подтверждена для этой нагрузки. Если сжатый артефакт флагмана помещается только с конкретной средой выполнения и малым батчем, это измеренная конфигурация, а не общая рекомендация для 64–128 ГБ. Диапазон может помочь сформулировать вопрос. Сам по себе он не может ответить на вопрос о пригодности.

Та же осторожность применима к фразе «более компактная модель». Более компактная модель может означать меньшее общее число параметров, другой путь активных параметров, другую схему квантования или другую цель развёртывания. Материал AMA не сводит эти возможности к спецификации. Читатель может с разумным основанием заключить, что Tencent Hy обсуждает продолжение работы над более компактными моделями. Читатель не может с разумным основанием заключить, что существует модель с известным названием, известным размером, минимальным порогом памяти и датой выпуска. Статус дорожной карты следует фиксировать как статус дорожной карты, пока модельная карточка, репозиторий или примечания о выпуске не предоставят недостающие детали.

Ответ о дорожной карте более компактной модели · Ответ на вопрос о 64–128 ГБ

Размер пяти файлов весов Hy4 Flash в формате GGUF по данным AngelSlim: от 125,73 ГиБ для IQ2-AH до 156,79 ГиБ для Q4_K_M. Объём памяти при запуске зависит от конфигурации.

Пять файлов весов Flash размером от 125 до 157 ГиБ#

В репозитории Flash GGUF перечислены пять наборов весов разного размера. Самая маленькая запись AngelSlim, IQ2-AH, составляет 125.73 GiB. Q3_K — 144.70 GiB, SPARK-4Bit-Fast — 148.60 GiB, SPARK-4Bit — 151.30 GiB, а Q4_K_M — 156.79 GiB. Крайние значения диапазона различаются на 31.06 GiB. Это существенная разница для хранения, распространения и запаса, который остаётся для всего остального на машине. Файлы относятся к ветке Flash, а цифры на диаграмме — это заявленные репозиторием размеры весов. Карточка модели Flash GGUF от AngelSlim

Единицы измерения имеют значение на нижней границе. Файл размером 125.73 GiB занимает около 135 GB при измерении в десятичных гигабайтах, поэтому машина с ровно 128 GB доступной памяти и без другого пула памяти уже оказалась бы ниже суммарного объёма только весов, если бы все веса должны были находиться в памяти одновременно. Даже машина с 128 GiB после вычета объёма файла имела бы лишь около 2.27 GiB, и это до процесса, операционной системы, кэша внимания и рабочих буферов. Это арифметические сравнения, а не измерения использования памяти. Выгрузка на устройство и файлы, отображённые в память, могут изменить то, где находятся байты и как быстро они читаются. Вот почему кажущаяся небольшой разница между GB и GiB может изменить трактовку порога, не отвечая на вопрос о производительности.

В репозитории отдельно указан файл визуальной проекции. Команде, оценивающей изображения на входе, нужно учитывать ещё один артефакт, а также способ подготовки медиафайлов в среде выполнения. Сравнение объёмов хранения также не учитывает время загрузки модели, количество токенов в секунду и качество вывода. Эти вопросы становятся важнее, когда выбранная рабочая нагрузка чередует текст и изображения или поддерживает долгие сессии. Более короткая загрузка — это непосредственное операционное преимущество для распространения. Достаточна ли её численная точность, зависит от приложения и среды выполнения. Файлы Flash и документация модели

Контекст и хронология AMA · Ответ в обсуждении постобучения

Ограничения источников и то, что изменило бы вывод#

Набор источников имеет явные ограничения. Он содержит публичный тред AMA, отдельные ответы, карточки моделей и репозиторий GGUF. В нём нет независимого воспроизведения отчёта Flash NVFP4. В нём нет контролируемого бенчмарка от нейтральной стороны. В нём нет опубликованной таблицы поддерживаемых конфигураций для диапазона 64–128 GB. В нём нет примечания к выпуску более мелкой модели. Эти пробелы важны, потому что выводы статьи соответственно ограничены. AMA подтверждает уточнение категорий развёртывания. Оно не подтверждает рейтинг производительности, гарантию памяти или прогноз запуска.

В карточке модели Tencent Flash получает контекстное окно до одного миллиона токенов. Максимальная длина контекста описывает заявленную возможность модели. Она даёт операторам повод тестировать своё развёртывание на нужных им размерах промптов, поскольку память и задержка могут резко меняться по мере роста промптов. Короткие беседы, длинный текстовый корпус и очередь одновременных запросов — это разные рабочие нагрузки даже на одном и том же чекпоинте. Для локально размещаемых инструментов документировать самый длинный рабочий контекст при целевой параллели практичнее, чем фиксировать только архитектурный потолок. Карточка модели Hy4 Flash

Самое важное ограничение — разделение тестовых контекстов. Результат одного пользователя и отчёт одной команды — это не два голоса в опросе. Это разные эксперименты с разными условиями контроля. Прогон пользователя на NVFP4 может быть очень релевантен стеку этого пользователя, а сравнение команды на BF16 может быть очень релевантно эталонному развёртыванию, но ни то ни другое автоматически не отменяет другое. Более сильный вывод потребовал бы согласованного сравнения: та же ревизия модели, тот же набор для оценки, та же семья сред выполнения и только меняющийся формат весов. Без этого честным утверждением будет, что метод квантизации и калибровка могут влиять на результат, и что локальная проверка остаётся необходимой.

Что изменило бы вывод? Опубликованная карточка модели, в которой перечислены поддерживаемые форматы квантизации для флагмана, уточнила бы границу поддержки. Контролируемый бенчмарк, в котором меняется только формат весов, прояснил бы вопрос Flash NVFP4. Репозиторий или примечание к выпуску с названной более мелкой моделью, минимальным требованием к памяти и датой запуска перевёл бы обсуждение дорожной карты в подтверждённую конфигурацию. Измеренный профиль памяти при определённых длинах контекста заменил бы спекуляции о 64–128 GB проверяемым утверждением о пригодности. До тех пор практические рекомендации статьи остаются условными, а не предсказательными.

Карточка модели Hy4-flash · Карточка модели Hy4 · Репозиторий Flash GGUF

Практическое руководство по принятию решений для локальных операторов#

Для локального оператора самый полезный результат AMA — это последовательность решений. Во-первых, определите ветку: Flash или флагман. Во-вторых, определите документированный формат для этой ветки. В-третьих, определите точный артефакт и ревизию. В-четвёртых, определите рабочую нагрузку: длину промпта, длину контекста, размер пакета и оценку. В-пятых, измеряйте весь стек, а не выводите память из метки параметра. В-шестых, зафиксируйте, получен ли результат в пользовательском контексте, в командном контексте или в согласованном сравнении. Эта последовательность медленнее, чем чтение заголовочного числа, но она предотвращает самую распространённую ошибку в локальном развёртывании: отношение к имени семейства как к проверенной конфигурации.

Пример 4 — заметка о закупке, которая выдерживает проверку. Команда хочет купить машину для локального вывода и готовит заметку, в которой говорится, что в AMA обсуждались 64–128 GB, поэтому коробки на 96 GB должно быть достаточно. Рецензент должен отклонить этот вывод. Лучшая заметка говорила бы, что в AMA обсуждался вопрос сообщества о 64–128 GB и упоминались более мелкие модели на дорожной карте, но не была опубликована ни одна поддерживаемая конфигурация. Поэтому команда проведёт бенчмарк артефактов Flash и флагмана, документированных для их ветки, при требуемой длине контекста и зафиксирует пиковую память и качество. Решение о закупке будет следовать измеренному результату, а не середине диапазона. Этот пример показывает, как использовать AMA как доказательство, не превращая вопрос в требование.

Для пользователей Flash ответ о калибровке аргументирует сохранение эталонного прогона и квантованного прогона рядом. Эталонный результат BF16 или в официальном формате может помочь отличить поведение модели от артефакта квантизации, но только если остальная часть контекста достаточно близка. Для пользователей флагмана ответ о формате аргументирует начало с документированного пути FP8 или связанных сжатых артефактов и отношение к NVFP4 как к неподтверждённому, пока источник, относящийся к конкретной ветке, не говорит иное. Для команд, следящих за дорожной картой, обсуждение более мелкой модели — это сигнал следить за карточками моделей и репозиториями, а не причина фиксировать аппаратный план вокруг неназванной будущей модели.

Более общий урок состоит в том, что решения о локальном выводе — это задачи доказательств. Семейство моделей может иметь активное сообщество, богатый набор квантованных файлов и подробное AMA и всё же требовать локального теста перед утверждением о развёртывании. AMA Tencent Hy ценно тем, что делает несколько из этих границ явными: квантизация Flash требует согласованного сравнения, форматы флагмана не взаимозаменяемы с форматами Flash, а диапазон 64–128 GB — это вопрос, а не спецификация. Это скромные выводы, но они прочны. Они говорят читателю, что проверить дальше, а это полезнее преждевременного вердикта.