Перейти к содержимому
Разделы документации

FLAI LAB 1.24
Срез от 24.10.2026

ДокументацияДвижки моделей

Движки моделей

Atlas

Движок для локального инференса с профилями под DGX Spark GB10.

Ревизия b9a7edaFLAI LAB 1.24Срез 24.10.2026

Что это и когда использовать

Atlas загружает совместимый Hugging Face Safetensors checkpoint и выполняет модель на Spark. В комплекте закреплён образ GB10 с исходной ревизией b9a7eda. Для известных Qwen доступны профили кэша, reasoning и MTP.

Вариант generic передаёт полный checkpoint нативному загрузчику Atlas. Это возможность попробовать модель, а не гарантия поддержки любой архитектуры, квантизации или GPU-kernel. Формат Ollama/GGUF не превращается в HF-веса.

Запуск и проверка

Терминал · без sudo
laika stop
Терминал · без sudo
laika start atlas OWNER/MODEL --context 32768
Терминал · без sudo
laika logs --follow

После готовности API выйдите из журнала через Ctrl+C, затем:

Терминал · без sudo
laika check
Терминал · без sudo
laika status

Кэш и MTP в комплекте 1.24

Prefix-кэш повторно использует совпадающее начало запросов. Для поддержанных Qwen3.5/3.6/3.8 стандартный пул SSM — 16 снимков состояний. Они находятся в памяти, вытесняются и исчезают при перезапуске сервера.

MTP предлагает несколько будущих токенов и проверяет их моделью. В профиле NVIDIA Qwen3.6-35B-A3B-NVFP4 режим auto включает MTP при совпадении метаданных и наличии нужных весов. Явный off имеет приоритет. Возможность MTP и prefix-кэш не гарантируют заданную скорость.

Терминал · без sudo
laika start atlas OWNER/MODEL --context 32768 --mtp auto --prefix-cache on

В status смотрите prefix_cache, ssm_cache_slots, ssm_checkpoint_interval и mtp_enabled.

Длинные ответы и watchdogs

Стандарт — --atlas-watchdogs on. У закреплённого профиля Qwen3.6 защита содержимого может остановить ответ на 8192 токенах независимо от общего окна. Для явного отключения генеративных автоостановок:

Терминал · без sudo
laika start atlas OWNER/MODEL --context 32768 --atlas-watchdogs off

Как зафиксирован движок

Ревизия исходников: b9a7eda. Образ:

ghcr.io/atlas-inf/atlas-gb10@sha256:0a75306346baf0dcbe56a2aae677247b62ce468db031e5b06cdfa71cb0b156f4

Версия профилей atlas.json — 2.7; это версия настроек LAIKA, а не номер релиза Atlas. Сайт проекта и исходный код.

Источники в комплекте 1.24
  • FLAI_AGENTS/LAIKA_VLLM/INSTALL_ATLAS.py
  • FLAI_AGENTS/LAIKA_VLLM/atlas.json
  • FLAI_AGENTS/LAB/КЭШ_ATLAS.md
  • FLAI_AGENTS/LAB/ATLAS_ДЛИННЫЕ_ОТВЕТЫ.md