Движки моделей
vLLM
Сервер инференса с API для совместимых текстовых моделей.
Что это и когда использовать
vLLM обслуживает модель как API-сервер, управляет памятью и очередью запросов. Выбирайте его, если модель поддерживается установленным образом и вы хотите использовать её через один из харнесов лаборатории.
В комплекте закреплён образ vllm/vllm-openai:qwen38 по OCI digest.
Числовой upstream-релиз vLLM в манифесте не указан; приписывать ему номер
версии профиля было бы неверно. Полный идентификатор ниже однозначно определяет
образ для новой загрузки.
Как запустить
laika stoplaika start vllm OWNER/MODEL --context 32768laika logs --followПосле готовности API: Ctrl+C, затем проверка и один клиент:
laika checklaika opencodeПараметры и совместимость
Можно задавать контекст, общий бюджет ответа, память, батч, KV-формат,
поддерживаемый reasoning и sampling-defaults. Стандарт памяти — 0.80, батча — 1.
Численный --reasoning-budget и явные переключатели Atlas
(--prefix-cache, --atlas-watchdogs, MTP on/off)
здесь не поддерживаются.
Для Qwen3.6-35B-A3B текущий шаблон vLLM поддерживает reasoning on/off, а уровни effort зависят от шаблона конкретной модели. Доступность профиля в каталоге не равна подтверждённой GPU-совместимости.
Закреплённый образ
vllm/vllm-openai@sha256:4a2f33a884222f7049b983263ad9976f89452bb81affecf5b67d89ad35c1bc31
Версия profiles.json — 2.5. Ранее установленный совместимый SIF
может повторно использоваться установщиком; его фактический SHA256 сохраняется
в системном состоянии. Документация проекта vLLM.
Источники в комплекте 1.24
FLAI_AGENTS/LAIKA_VLLM/INSTALL_SHARED.pyFLAI_AGENTS/LAIKA_VLLM/profiles.jsonFLAI_AGENTS/LAB/laikaFLAI_AGENTS/LAB/ВОССТАНОВЛЕНИЕ_ПОСЛЕ_OOM.md