Перейти к содержимому
Разделы документации

FLAI LAB 1.24
Срез от 24.10.2026

ДокументацияДвижки моделей

Движки моделей

vLLM

Сервер инференса с API для совместимых текстовых моделей.

Образ qwen38 · OCI 4a2f33a88422FLAI LAB 1.24Срез 24.10.2026

Что это и когда использовать

vLLM обслуживает модель как API-сервер, управляет памятью и очередью запросов. Выбирайте его, если модель поддерживается установленным образом и вы хотите использовать её через один из харнесов лаборатории.

В комплекте закреплён образ vllm/vllm-openai:qwen38 по OCI digest. Числовой upstream-релиз vLLM в манифесте не указан; приписывать ему номер версии профиля было бы неверно. Полный идентификатор ниже однозначно определяет образ для новой загрузки.

Как запустить

Терминал · без sudo
laika stop
Терминал · без sudo
laika start vllm OWNER/MODEL --context 32768
Терминал · без sudo
laika logs --follow

После готовности API: Ctrl+C, затем проверка и один клиент:

Терминал · без sudo
laika check
Терминал · без sudo
laika opencode

Параметры и совместимость

Можно задавать контекст, общий бюджет ответа, память, батч, KV-формат, поддерживаемый reasoning и sampling-defaults. Стандарт памяти — 0.80, батча — 1. Численный --reasoning-budget и явные переключатели Atlas (--prefix-cache, --atlas-watchdogs, MTP on/off) здесь не поддерживаются.

Для Qwen3.6-35B-A3B текущий шаблон vLLM поддерживает reasoning on/off, а уровни effort зависят от шаблона конкретной модели. Доступность профиля в каталоге не равна подтверждённой GPU-совместимости.

Закреплённый образ

vllm/vllm-openai@sha256:4a2f33a884222f7049b983263ad9976f89452bb81affecf5b67d89ad35c1bc31

Версия profiles.json — 2.5. Ранее установленный совместимый SIF может повторно использоваться установщиком; его фактический SHA256 сохраняется в системном состоянии. Документация проекта vLLM.

Источники в комплекте 1.24
  • FLAI_AGENTS/LAIKA_VLLM/INSTALL_SHARED.py
  • FLAI_AGENTS/LAIKA_VLLM/profiles.json
  • FLAI_AGENTS/LAB/laika
  • FLAI_AGENTS/LAB/ВОССТАНОВЛЕНИЕ_ПОСЛЕ_OOM.md