Провайдеры

Провайдеры

Hermes Agent подключается к языковым моделям через провайдеры inference — облачные API, агрегаторы и локальные серверы. Для работы агента необходим хотя бы один настроенный провайдер. Переключаться между ними можно в любой момент командой hermes model — история диалога, память и навыки сохраняются независимо от выбранного провайдера.

Облачные провайдеры

OpenRouter — агрегатор, объединяющий сотни моделей от десятков поставщиков через единый API. Для подключения достаточно указать OPENROUTER_API_KEY в файле ~/.hermes/.env. OpenRouter поддерживает маршрутизацию запросов между провайдерами, автоматический выбор оптимального по цене, скорости или задержке.

OpenAI — провайдер моделей GPT и Codex. Поддерживается как через OAuth авторизацию (hermes model → Codex), так и через API-ключ. Также доступен через GitHub Copilot с OAuth авторизацией по коду устройства (device code flow).

GitHub Copilot — модели доступны через OAuth device code flow. Важно: gh auth login НЕ работает для Copilot API — токены GitHub CLI не подходят для inference. Используйте hermes model → GitHub Copilot для запуска OAuth device code flow. Для Copilot ACP (Agent Communication Protocol) укажите COPILOT_CLI_PATH.

Anthropic — провайдер моделей Claude. Поддерживает несколько способов авторизации: Claude Max с оплатой по подписке, прямой API-ключ ANTHROPIC_API_KEY, а также OAuth через PKCE-поток. Доступен и через Claude Code.

Google Gemini — модели от Google доступны через OAuth авторизацию (hermes model → Google Gemini CLI) или через API-ключ. Также доступны через OpenRouter и другие агрегаторы.

Помимо перечисленных, Hermes поддерживает множество других провайдеров. Ниже приведена полная таблица с типом авторизации и переменной окружения.

Полная таблица провайдеров

Новые провайдеры (подробнее)

Xiaomi MiMo — модели от Xiaomi (MiMo-7B и др.). Для подключения укажите XIAOMI_API_KEY в ~/.hermes/.env. Провайдер китайский, модели доступны через API Xiaomi.

Kimi / Moonshot — модели от Moonshot AI (Kimi K2 и др.). Укажите KIMI_API_KEY. Поддерживает reasoning mode через специальные параметры в запросе.

Alibaba / DashScope — модели Qwen от Alibaba Cloud, доступные через платформу DashScope. Укажите DASHSCOPE_API_KEY. Включает Qwen 2.5, Qwen-VL и другие.

Z.AI / GLM — модели GLM от Zhipu AI (Z.AI). Укажите GLM_API_KEY. Включает GLM-4 и другие модели.

MiniMax — международная версия MiniMax. Укажите MINIMAX_API_KEY. Также используется для TTS (Text-to-Speech).

MiniMax CN — китайская версия MiniMax. Укажите MINIMAX_CN_API_KEY. Отдельный провайдер для китайского рынка.

Kilo Code — провайдер Kilo Code. Укажите KILOCODE_API_KEY.

AI Gateway (Vercel) — Vercel AI Gateway. Укажите AI_GATEWAY_API_KEY. Позволяет маршрутизировать запросы через инфраструктуру Vercel.

OpenCode Zen / Go — два варианта провайдера OpenCode: Zen (OPENCODE_ZEN_API_KEY) и Go (OPENCODE_GO_API_KEY).

Qwen OAuth — OAuth-авторизация для моделей Qwen. Выполните hermes login --provider qwen-oauth для настройки.

Hugging Face — доступ к моделям на Hugging Face Hub. Укажите HF_TOKEN (Personal Access Token с Hugging Face). Поддерживает inference API и подключённые модели.

GitHub Copilot ACP — подключение через Copilot CLI (Agent Communication Protocol). Укажите путь к Copilot CLI в COPILOT_CLI_PATH. Это альтернативный способ использования Copilot, отличный от OAuth.

Локальные и кастомные провайдеры

Hermes можно подключить к самозапущенным LLM через совместимый с OpenAI API эндпоинт. Поддерживаемые фреймворки:

• Ollama — локальные модели с нулевой конфигурацией. Достаточно установить и запустить Ollama, Hermes обнаружит его автоматически
• vLLM — высокопроизводительный GPU inference с поддержкой параллельных запросов
• SGLang — быстрый serving с технологией RadixAttention
• llama.cpp / llama-server — inference на CPU и Metal
• LM Studio — десктопное приложение с локальными моделями

Для настройки кастомного эндпоинта выполните hermes model и выберите Custom Provider, укажите base URL и API-ключ.

Provider Routing (маршрутизация запросов)

При использовании OpenRouter можно управлять маршрутизацией запросов между поставщиками через секцию provider_routing в конфигурации:

• sort — сортировка провайдеров: "price" (по умолчанию), "throughput" (пропускная способность) или "latency" (задержка)
• only — использовать только указанные провайдеры
• ignore — исключить определённых провайдеров
• order — попробовать провайдеров в указанном порядке
• data_collection — "deny" для исключения провайдеров, сохраняющих данные

Существуют короткие команды: добавьте :nitro к имени модели для сортировки по пропускной способности или :floor — для сортировки по цене.

Fallback Providers (резервные провайдеры)

Hermes имеет три уровня отказоустойчивости для бесперебойной работы:

• Credential Pools — ротация между несколькими API-ключами одного провайдера (проверяется первым)
• Primary Model Fallback — автоматическое переключение на резервный провайдер при ошибках основного (лимиты, перегрузка, ошибки авторизации)
• Auxiliary Task Fallback — независимое разрешение провайдера для вспомогательных задач: зрение, компрессия контекста, веб-экстракция

Резервная цепочка настраивается в config.yaml через fallback_providers: — список провайдеров и моделей, которые перебираются по порядку при сбое основного. При активации резерва происходит замена модели в текущей сессии без потери истории диалога.

Credential Pools (пулы учётных данных)

Пулы позволяют зарегистрировать несколько API-ключей или OAuth-токенов для одного провайдера. Когда один ключ исчерпывает лимит, Hermes автоматически переключается на следующий здоровый ключ.

Стратегии ротации:

• fill_first (по умолчанию) — использовать первый ключ до исчерпания, затем следующий
• round_robin — циклическое переключение между ключами
• least_used — всегда выбирать ключ с наименьшим количеством запросов
• random — случайный выбор среди доступных ключей

Управление пулами осуществляется через hermes auth — интерактивный мастер добавления, удаления и сброса учётных данных. Hermes автоматически обнаруживает ключи из переменных окружения, OAuth-токены и конфигурационных файлов.