Движки моделей
Atlas
Движок для локального инференса с профилями под DGX Spark GB10.
Что это и когда использовать
Atlas загружает совместимый Hugging Face Safetensors checkpoint и выполняет
модель на Spark. В комплекте закреплён образ GB10 с исходной ревизией
b9a7eda. Для известных Qwen доступны профили кэша, reasoning и MTP.
Вариант generic передаёт полный checkpoint нативному загрузчику Atlas. Это возможность попробовать модель, а не гарантия поддержки любой архитектуры, квантизации или GPU-kernel. Формат Ollama/GGUF не превращается в HF-веса.
Запуск и проверка
laika stoplaika start atlas OWNER/MODEL --context 32768laika logs --followПосле готовности API выйдите из журнала через Ctrl+C, затем:
laika checklaika statusКэш и MTP в комплекте 1.24
Prefix-кэш повторно использует совпадающее начало запросов. Для поддержанных Qwen3.5/3.6/3.8 стандартный пул SSM — 16 снимков состояний. Они находятся в памяти, вытесняются и исчезают при перезапуске сервера.
MTP предлагает несколько будущих токенов и проверяет их моделью. В профиле NVIDIA Qwen3.6-35B-A3B-NVFP4 режим auto включает MTP при совпадении метаданных и наличии нужных весов. Явный off имеет приоритет. Возможность MTP и prefix-кэш не гарантируют заданную скорость.
laika start atlas OWNER/MODEL --context 32768 --mtp auto --prefix-cache onВ status смотрите prefix_cache, ssm_cache_slots, ssm_checkpoint_interval и mtp_enabled.
Длинные ответы и watchdogs
Стандарт — --atlas-watchdogs on. У закреплённого профиля Qwen3.6
защита содержимого может остановить ответ на 8192 токенах независимо от общего окна.
Для явного отключения генеративных автоостановок:
laika start atlas OWNER/MODEL --context 32768 --atlas-watchdogs offКак зафиксирован движок
Ревизия исходников: b9a7eda. Образ:
ghcr.io/atlas-inf/atlas-gb10@sha256:0a75306346baf0dcbe56a2aae677247b62ce468db031e5b06cdfa71cb0b156f4
Версия профилей atlas.json — 2.7; это версия настроек LAIKA,
а не номер релиза Atlas. Сайт проекта и исходный код.
Источники в комплекте 1.24
FLAI_AGENTS/LAIKA_VLLM/INSTALL_ATLAS.pyFLAI_AGENTS/LAIKA_VLLM/atlas.jsonFLAI_AGENTS/LAB/КЭШ_ATLAS.mdFLAI_AGENTS/LAB/ATLAS_ДЛИННЫЕ_ОТВЕТЫ.md