Как выбрать LLM-шлюз: критерии, а не бренды

9 октября 2026

Откуда у шлюза доступ к GPT и Claude

Три класса вариантов

Из России к LLM ведут три дороги, и у каждой своя цена.

Если нужны именно GPT или Claude, ты выбираешь между вторым и третьим классом. Если есть требование чтобы данные не покидали Россию, начинай с первого.

Восемь критериев

Цена это лишь один из восьми пунктов, и далеко не всегда главный. Каждый пункт можно проверить самому за час-два, до того как поставить шлюз в прод.

Отдельно про персональные данные. Если в запросах есть имена, телефоны или почта клиентов, а модель зарубежная, это трансграничная передача: до её начала компания обязана уведомить Роскомнадзор, и поправки от 26 июля 2026 года это требование сохранили (разбор изменений, передача данных в AI-сервисы). Российский шлюз посередине не делает передачу внутренней: данные всё равно уходят к зарубежной модели. Проще всего обезличивать данные до запроса или брать для таких задач модели в российском облаке. Если в твоей задаче этот вопрос поднялся, то лучше обсуди его с юристом.

Письмо в поддержку до оплаты

Одно письмо на почту / в телеграмм чат поддержки закрывает половину критериев и заодно проверяет саму поддержку: сколько ждать ответа и отвечает ли человек по существу. Копируй и отправляй всем кандидатам сразу.

Здравствуйте! Выбираем провайдера LLM API для продакшена. Подскажите, пожалуйста:

1. Работаете ли вы с юрлицами по договору, с оплатой по счёту и закрывающими документами?
2. Какая цена за 1 млн входных и выходных токенов у моделей [список]? Есть ли минимальный платёж, сгорает ли неиспользованный баланс?
3. Где обрабатываются запросы? Сохраняете ли вы промпты и ответы, и если да, то на какой срок?
4. Какие лимиты запросов в минуту на один ключ и можно ли их поднять?
5. Поддерживаются ли стриминг, вызов инструментов и JSON-режим через OpenAI-совместимый API?
6. Есть ли SLA и страница статуса? Как с вами связаться, если в два часа ночи всё упало?

Таким способом ты одновременно проверишь и уровень лояльности поддержки провайдера к клиентам. Если тебя отправят смотреть запрошенную информацию на сайт, то делай соответствующие выводы.

Код, который переживёт смену провайдера

Лучшая страховка от любого шлюза это код, в котором провайдер отражается в трех переменных окружения: адрес, ключ и имя модели. Имя модели тоже выносим, т.к. у разных провайдеров одна и та же модель часто называется по-разному.

# .env
LLM_BASE_URL=https://<адрес основного провайдера>/v1
LLM_API_KEY=<ключ>
LLM_MODEL=<имя модели у основного провайдера>

LLM_FALLBACK_BASE_URL=https://<адрес запасного провайдера>/v1
LLM_FALLBACK_API_KEY=<ключ>
LLM_FALLBACK_MODEL=<имя модели у запасного провайдера>

import os

import openai
from openai import OpenAI

# Основной и запасной провайдер: адрес, ключ и модель — только в переменных окружения
PROVIDERS = [
    (
        "основной",
        OpenAI(base_url=os.environ["LLM_BASE_URL"], api_key=os.environ["LLM_API_KEY"], timeout=60, max_retries=2),
        os.environ["LLM_MODEL"],
    ),
    (
        "запасной",
        OpenAI(base_url=os.environ["LLM_FALLBACK_BASE_URL"], api_key=os.environ["LLM_FALLBACK_API_KEY"], timeout=60, max_retries=2),
        os.environ["LLM_FALLBACK_MODEL"],
    ),
]


def ask(messages: list[dict]) -> str:
    errors = []
    for name, client, model in PROVIDERS:
        try:
            response = client.chat.completions.create(model=model, messages=messages)
        except openai.APIError as e:  # сеть, таймаут, ответы 4xx и 5xx
            errors.append(f"{name}: {e}")
            continue
        text = response.choices[0].message.content if response.choices else None
        if text:  # бывает, что шлюз отвечает 200, но без текста
            return text
        errors.append(f"{name}: пустой ответ")
    raise RuntimeError("Ни один провайдер не ответил: " + "; ".join(errors))


if __name__ == "__main__":
    print(ask([
        {"role": "system", "content": "Ты технический специалист, отвечай кратко на русском языке."},
        {"role": "user", "content": "Что такое контейнер?"},
    ]))

Если основной провайдер вернул ошибку, не уложился в таймаут или прислал пустой ответ, запрос уйдёт к запасному. Переезд целиком сводится к замене трёх строк в `.env`. Запасной аккаунт стоит пополнить на небольшую сумму заранее: иначе, если авария всё же произойдет, то придется регистрироваться и ждать зачисления платежа.

Почему у нас Dockhost

Когда шлюз не нужен

Шлюз нужен, когда модель вызывает твой код и нужны именно зарубежные модели. В трёх случаях он лишний.

• Работаешь с текстом сам, в чате. Подписка дешевле и удобнее, API-ключ для этого не нужен.
• В запросах персональные данные или коммерческая тайна, и отправлять их за рубеж нельзя. Бери модели в российском облаке: YandexGPT, GigaChat или открытые модели вроде Qwen и DeepSeek в Yandex AI Studio.
• Нагрузка большая и ровная, а данные чувствительные. Стоит посчитать своё развёртывание открытой модели на арендованных GPU. Дороже на старте, зато без посредника и наценки за токены.

Итог

Выбирай шлюз по тому, на что сможешь опереться в проде: документы, реальная наценка, прозрачный расход, стабильность, данные и живая поддержка. Проверь это письмом и нагрузочным тестом до оплаты, а код держи таким, чтобы переезд занимал минуты.

Разборы вопросов из комментариев и другая польза — в моём Telegram-канале.