LLM (Large Language Model)

Сервер

• Адрес: 85.29.137.199:5010/v1
• Модель: gemma-3-12b-it-FP8-Dynamic
• GPU: 2x RTX 3090
• API: OpenAI-совместимый

Назначение

Суммаризация транскрипций звонков — краткое изложение разговора.

Конфигурация (backend .env)

LLM_API_URL=http://85.29.137.199:5010/v1
LLM_MODEL=gemma-3-12b-it-FP8-Dynamic

Сетевой доступ

LLM-сервис доступен с web-1/web-2 через lb. Прямого доступа с mon-1 и других внутренних серверов нет — исходящий трафик в интернет только через lb-1/lb-2.