Перейти к содержимому
Разделы документации

FLAI LAB 1.24
Срез от 24.10.2026

ДокументацияСправочник

Справочник

Параметры запуска

Контекст, память, reasoning, генерация и ограничения сочетаний.

LAIKA · комплект 1.24FLAI LAB 1.24Срез 24.10.2026

Справочник флагов

ПараметрПоддержкаЗначение
--context NВсе три движка2048…предел модели/политики. Без флага — максимум. Окно включает вход, reasoning и ответ.
--max-output-tokens NВсе три движка и команды клиентов1…context−1. Без флага — оставшееся окно ответа с учётом ограничений движка; reasoning входит в бюджет.
--reasoning РЕЖИМПо возможностям модели/движкаauto, on, off, low, medium, high, xhigh. Без флага — максимальный поддерживаемый режим; явный auto — нативный выбор.
--kv-cache-dtype ФОРМАТAtlas / vLLMauto, bf16, fp8. Меняет кэш истории, а не формат весов.
--gpu-memory-utilization ДОЛЯAtlas / vLLM0.05…0.95; стандарт 0.80. Доля памяти, а не вычислительной мощности GPU.
--batch-size NAtlas / vLLMПоложительное целое; стандарт 1. Число одновременно обслуживаемых последовательностей требует памяти.
--reasoning-budget NAtlas1…context−1. Численный бюджет имеет приоритет над effort; off выключает thinking даже с бюджетом.
--mtp РЕЖИМAtlasauto, on, off; стандарт auto по профилю. on требует MTP-веса. Ускорение зависит от задачи.
--prefix-cache РЕЖИМAtlason / off; стандарт on. Повторное использование начала запросов в памяти текущего процесса.
--atlas-watchdogs РЕЖИМAtlason / off; стандарт on. off явно отключает группу генеративных автоостановок.
--temperature NAtlas / vLLM0…2. Серверный default случайности; клиент может переопределить.
--top-k NAtlas / vLLM0 выключает фильтр; иначе 1…1000000. Серверный default.
--top-p NAtlas / vLLMБольше 0, не больше 1. Серверный default порога вероятностей.

Как выбрать reasoning

Сначала посмотрите поддерживаемые режимы в laika models. У Qwen3.8-27B доступны off, low, medium и xhigh; слово high нельзя считать универсальным. Шаблон NVIDIA Qwen3.6-35B-A3B в vLLM предоставляет on/off, а Atlas может задавать собственный бюджет.

Явный --reasoning auto отличается от отсутствия флага в комплекте 1.24: auto оставляет нативный выбор, отсутствие флага выбирает максимум поддерживаемых возможностей. Неподдерживаемый режим отклоняется перед запуском.

Терминал · без sudo
laika start atlas OWNER/MODEL --context 32768 --reasoning off

Сочетания параметров Atlas

  • --reasoning off нельзя сочетать с --temperature, --top-k и --top-p: они включают несовместимый reference-mode.
  • --reasoning-budget также нельзя сочетать с этими sampling-флагами.
  • Sampling-флаги требуют явного --atlas-watchdogs off, потому что reference-mode сам отключает эти защиты.
Терминал · без sudo
laika start atlas OWNER/MODEL --context 32768 --temperature 0.6 --top-k 20 --top-p 0.95 --atlas-watchdogs off

Это пример синтаксиса. Качество и допустимость настроек проверяйте для выбранной модели.

Если памяти мало

Большой контекст, батч и кэши занимают память. На DGX Spark память общая для CPU, GPU и рабочего стола. Перед запуском GB10 проверяется запас RAM, но это не гарантирует отсутствие OOM. Начните с меньшего окна и батча 1; пример восстановления:

Терминал · без sudo
laika start atlas nvidia/Qwen3.6-35B-A3B-NVFP4 --context 32768 --reasoning off --kv-cache-dtype fp8 --gpu-memory-utilization 0.70 --batch-size 1

Перед новым стартом выполните laika stop. Подробнее — решение проблем.

Источники в комплекте 1.24
  • FLAI_AGENTS/LAB/laika
  • FLAI_AGENTS/LAB/РЕСУРСЫ_И_REASONING.md
  • FLAI_AGENTS/LAB/ВОССТАНОВЛЕНИЕ_ПОСЛЕ_OOM.md
  • FLAI_AGENTS/LAB/ATLAS_ДЛИННЫЕ_ОТВЕТЫ.md
  • FLAI_AGENTS/LAB/КЭШ_ATLAS.md