Справочник
Параметры запуска
Контекст, память, reasoning, генерация и ограничения сочетаний.
Справочник флагов
| Параметр | Поддержка | Значение |
|---|---|---|
--context N | Все три движка | 2048…предел модели/политики. Без флага — максимум. Окно включает вход, reasoning и ответ. |
--max-output-tokens N | Все три движка и команды клиентов | 1…context−1. Без флага — оставшееся окно ответа с учётом ограничений движка; reasoning входит в бюджет. |
--reasoning РЕЖИМ | По возможностям модели/движка | auto, on, off, low, medium, high, xhigh. Без флага — максимальный поддерживаемый режим; явный auto — нативный выбор. |
--kv-cache-dtype ФОРМАТ | Atlas / vLLM | auto, bf16, fp8. Меняет кэш истории, а не формат весов. |
--gpu-memory-utilization ДОЛЯ | Atlas / vLLM | 0.05…0.95; стандарт 0.80. Доля памяти, а не вычислительной мощности GPU. |
--batch-size N | Atlas / vLLM | Положительное целое; стандарт 1. Число одновременно обслуживаемых последовательностей требует памяти. |
--reasoning-budget N | Atlas | 1…context−1. Численный бюджет имеет приоритет над effort; off выключает thinking даже с бюджетом. |
--mtp РЕЖИМ | Atlas | auto, on, off; стандарт auto по профилю. on требует MTP-веса. Ускорение зависит от задачи. |
--prefix-cache РЕЖИМ | Atlas | on / off; стандарт on. Повторное использование начала запросов в памяти текущего процесса. |
--atlas-watchdogs РЕЖИМ | Atlas | on / off; стандарт on. off явно отключает группу генеративных автоостановок. |
--temperature N | Atlas / vLLM | 0…2. Серверный default случайности; клиент может переопределить. |
--top-k N | Atlas / vLLM | 0 выключает фильтр; иначе 1…1000000. Серверный default. |
--top-p N | Atlas / vLLM | Больше 0, не больше 1. Серверный default порога вероятностей. |
Как выбрать reasoning
Сначала посмотрите поддерживаемые режимы в laika models.
У Qwen3.8-27B доступны off, low, medium и xhigh; слово high нельзя считать
универсальным. Шаблон NVIDIA Qwen3.6-35B-A3B в vLLM предоставляет on/off,
а Atlas может задавать собственный бюджет.
Явный --reasoning auto отличается от отсутствия флага в комплекте 1.24:
auto оставляет нативный выбор, отсутствие флага выбирает максимум поддерживаемых
возможностей. Неподдерживаемый режим отклоняется перед запуском.
laika start atlas OWNER/MODEL --context 32768 --reasoning offСочетания параметров Atlas
--reasoning offнельзя сочетать с--temperature,--top-kи--top-p: они включают несовместимый reference-mode.--reasoning-budgetтакже нельзя сочетать с этими sampling-флагами.- Sampling-флаги требуют явного
--atlas-watchdogs off, потому что reference-mode сам отключает эти защиты.
laika start atlas OWNER/MODEL --context 32768 --temperature 0.6 --top-k 20 --top-p 0.95 --atlas-watchdogs offЭто пример синтаксиса. Качество и допустимость настроек проверяйте для выбранной модели.
Если памяти мало
Большой контекст, батч и кэши занимают память. На DGX Spark память общая для CPU, GPU и рабочего стола. Перед запуском GB10 проверяется запас RAM, но это не гарантирует отсутствие OOM. Начните с меньшего окна и батча 1; пример восстановления:
laika start atlas nvidia/Qwen3.6-35B-A3B-NVFP4 --context 32768 --reasoning off --kv-cache-dtype fp8 --gpu-memory-utilization 0.70 --batch-size 1Перед новым стартом выполните laika stop. Подробнее — решение проблем.
Источники в комплекте 1.24
FLAI_AGENTS/LAB/laikaFLAI_AGENTS/LAB/РЕСУРСЫ_И_REASONING.mdFLAI_AGENTS/LAB/ВОССТАНОВЛЕНИЕ_ПОСЛЕ_OOM.mdFLAI_AGENTS/LAB/ATLAS_ДЛИННЫЕ_ОТВЕТЫ.mdFLAI_AGENTS/LAB/КЭШ_ATLAS.md