RU ▾
Получить API-ключ

Как внедрить LLM в Python с помощью хостингового API

В большинстве проектов внедрение LLM в Python сводится к вызову хостинговой модели по HTTP, а не к обучению или обслуживанию её самостоятельно. С OpenAI-совместимым API это занимает около десяти строк, а тот же код легко масштабируется на потоковую передачу, вывод в JSON и вызов функций.

Обновлено

Терминал, отправляющий луч на облачный сервер и получающий кубы данных, иллюстрирует вызов хостинговой LLM из Python

Ключевые моменты

  • Установите пакет openai, задайте base URL и ключ, а также используйте ID модели uncensored.
  • Поддерживаются потоковая передача, JSON-режим и вызов функций, использующие стандартные аргументы SDK.
  • Храните историю чата в списке и следите за окном в 100 000 токенов.
  • Обрабатывайте HTTP 429 короткой повторной попыткой; неудачные или отклонённые запросы не оплачиваются.

Хостинговое API или ваша собственная модель

Существует два способа внедрить языковую модель в программу на Python. Вы можете запустить веса самостоятельно, что означает наличие GPU, стека обслуживания, выбор квантования и долгое ожидание загрузок. Или вы можете отправлять запросы к модели, которую уже запускает кто-то другой. Первый вариант подходит для исследований, строгой изоляции данных или очень больших постоянных объёмов. Второй подходит почти для всего остального: скрипта, бота, функции продукта или прототипа, который нужно запустить к обеду.

Это руководство использует второй вариант. Сервис представляет собой хостинговый текстовый API, совместимый с OpenAI, с одной моделью с открытыми весами, запущенный независимым провайдером и настроенный на ответы без отказов по контенту для законного использования взрослыми. Это не официальное API какого-либо вендора моделей. Поскольку оно следует формату запросов OpenAI, работает стандартный пакет openai, а также обычный requests, если вы предпочитаете отсутствие зависимостей.

Шаг 1: установка и первый вызов

Установите SDK и сохраните ключ в переменной окружения, чтобы он никогда не попал в исходный код.

pip install openai
export API_KEY="your-key-here"

Затем создайте клиент с base URL сервиса. Единственные вещи, которые вы меняете по сравнению с любой другой настройкой в стиле OpenAI, — это URL, ключ и имя модели.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.fluxapikey.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain list comprehensions in two sentences."},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage)

Это полностью рабочая программа. Эндпоинт за ней — POST /v1/chat/completions, аутентифицированный через Authorization: Bearer <key>, а GET /v1/models перечисляет ID модели. Вы можете получить ключ и небольшой пробный баланс на странице ключа.

Шаг 2: потоковая передача ответа

Ожидание полного ответа кажется медленным в терминале или на веб-странице. Установите stream=True и выводите токены по мере их поступления через server-sent events.

# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

Данные об использовании приходят в конце потока, поэтому последний чанк может не содержать вариантов. Поэтому цикл сначала проверяет chunk.choices. Запомните: потоковый запрос удерживает слот параллельных запросов до конца потока, поэтому всегда считывайте его до конца или закрывайте.

Шаг 3: ведение беседы

У модели нет памяти между вызовами. Чат — это просто растущий список сообщений, который вы отправляете снова каждый раз. Достаточно небольшого класса:

# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
    def __init__(self, system):
        self.messages = [{"role": "system", "content": system}]

    def say(self, text):
        self.messages.append({"role": "user", "content": text})
        r = client.chat.completions.create(model="uncensored", messages=self.messages)
        answer = r.choices[0].message.content
        self.messages.append({"role": "assistant", "content": answer})
        return answer

bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))

Контекстное окно составляет 100 000 токенов, общих для промпта и завершения. Это много места, но длинный чат растёт с каждым ходом, и вы платите за всю историю при каждом запросе. Когда он становится большим, удаляйте самые старые ходы или заменяйте их кратким резюме, которое вы просите модель написать.

Шаг 4: получение структурированного вывода

Программы хотят данные, а не абзацы. JSON-режим делает ответ корректным JSON. Укажите в промпте, какие ключи вы ожидаете.

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
        {"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
    ],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])

Корректный JSON не гарантирует ваши ключи. Проверьте их в коде и повторите попытку один раз, если какого-то нет.

Шаг 5: вызов функций моделью

Вызов функций позволяет модели попросить вашу программу выполнить функцию, а затем продолжить с результатом. Вы описываете инструмент, проверяете, содержит ли ответ вызов, выполняете его и отправляете вывод обратно с ролью tool.

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_word_count",
        "description": "Count the words in a text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = len(args["text"].split())
        messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

Всегда проверяйте аргументы перед их использованием, так как модель может создать вызов, которого вы не ожидали. Вызовы инструментов тоже можно получать потоком, в виде дельт tool_calls, если это нужно. В документации перечислены все поля.

Шаг 6: обработка лимитов и ошибок

Полный ключ позволяет 8 параллельных запросов и 300 в минуту; пробный ключ — 2 и 60. Превышение лимита приводит к ответу API HTTP 429. Код ошибки rate_limited для слишком частых запросов в минуту и concurrency для слишком частых одновременно. При временной перегрузке вы также получаете 429 с заголовком Retry-After: 5. Небольшая обёртка для повторов покрывает все три случая:

# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError

def ask(messages, tries=4):
    for i in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (i + 1))
    raise RuntimeError("still limited after retries")

Если вы запускаете задачи в потоках, ограничьте их числом 8 с помощью ThreadPoolExecutor(max_workers=8), чтобы редко достигать лимита параллельных запросов. Каждый ответ содержит X-Request-Id, который нужно указывать при обращении в поддержку, и X-Balance-USD показывает ваш оставшийся баланс. Максимальный размер тела — 8 МБ.

Параметры, влияющие на вывод

Большая часть повседневной настройки происходит в нескольких параметрах, все из которых передаются модели.

  • temperature управляет случайностью. Используйте 0.2 или меньше для извлечения и классификации, около 0.7 для чата и 1.0 или больше для мозгового штурма и художественной литературы.
  • top_p обрезает маловероятный хвост вариантов слов. Изменяйте либо его, либо температуру, но не оба сразу, чтобы понять, какой параметр сработал.
  • seed делает повторные запуски более сопоставимыми. Это полезно в тестах, где вы хотите увидеть эффект изменения промпта, а не шум.
  • stop завершает генерацию на выбранной вами строке, что удобно для отсечения модели, которая продолжает добавлять комментарии.
  • max_tokens необязателен. Без него завершение может использовать всё, что осталось от контекстного окна в 100 000 токенов. Установите его, когда нужен жёсткий лимит длины и стоимости.
  • Штрафы за частоту и наличие снижают вероятность повторов, что помогает при создании длинных творческих текстов, которые начинают зацикливаться.

Записывайте настройки, которые вы использовали, рядом с любым выводом, который вас интересует. Спустя месяцы «почему он ответил иначе» почти всегда является изменённым параметром или изменённым системным сообщением.

Выполнение множества запросов одновременно

Цикл, отправляющий один запрос за раз, тратит большую часть вашего лимита. С полным ключом вы можете иметь 8 запросов в полёте, поэтому пул потоков сокращает длинную партию примерно до одной восьмой времени выполнения.

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")

def summarise(text):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarise in one line: " + text}],
        max_tokens=60,
    )
    return r.choices[0].message.content

texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
    for line in pool.map(summarise, texts):
        print(line)

Держите количество рабочих потоков на уровне 8 или ниже, или на уровне 2 для пробного ключа. Если вы всё ещё видите ответы 429 с кодом concurrency, уменьшите число на один или два. Лимит 300 в минуту важен для быстрых коротких запросов, поэтому пакет мелких вызовов может достичь его раньше, чем лимит параллельных запросов.

Распространённые проблемы и решения

Большинство ошибок первого дня происходят из короткого списка причин.

  • 401 или ошибка аутентификации. Ключ отсутствует, введён неверно или отправлен на неверный хост. Выведите base URL, который фактически использует ваш клиент, и убедитесь, что он заканчивается на /v1.
  • Модель не найдена. Идентификатор модели должен быть uncensored. Вызовите GET /v1/models, если хотите подтвердить, какие модели перечисляет сервер.
  • Пустой или обрезанный ответ. Низкое значение max_tokens останавливает ответ на полуслове. Увеличьте его или уберите. Проверьте finish_reason на варианте: length означает, что лимит был достигнут.
  • JSON, который не может быть разобран. Либо ответ был усечён, либо промпт никогда не описывал форму. Сначала исправьте промпт и оберните парсинг в блок try.
  • Медленный первый токен. Очень длинный промпт обрабатывается дольше. Уменьшите историю или отправьте меньше контекста.
  • Запрос слишком большой. Лимит тела — 8 МБ, а окно токенов — 100 000. Разделите большие документы на части и суммируйте каждую.

Когда что-то всё ещё выглядит неправильно, логируйте заголовок X-Request-Id вместе с ошибочным входом. Это позволяет поддержке найти точный запрос.

Сколько это стоит

Вы платите $0.15 за 1M входных токенов и $0.50 за 1M выходных токенов из предоплаченного баланса. Типичный запрос с 2 000 входными и 500 выходными токенами стоит 0,002 x $0,15 = $0,0003 за входные данные плюс 0,0005 x $0,50 = $0,00025 за выходные данные, итого $0,00055. Десять тысяч таких запросов стоят $5,50. Неудачные или отклонённые запросы не оплачиваются, а баланс не сгорает. Пополнения от $20 до $500; см. тарифы для получения бонусов. Промпты не используются для обучения.

Выходные токены стоят дороже входных, поэтому самый экономный подход — просить короткие ответы: укажите два предложения или только JSON и установите max_tokens на разумный предел. Читайте resp.usage во время разработки, чтобы видеть реальное количество токенов для ваших промптов, и умножайте их на указанные выше тарифы перед масштабированием задачи. Заголовок X-Balance-USD показывает остаток после каждого вызова.

Вопросы и ответы

Нужен ли мне GPU для реализации LLM на Python?

Нет, при использовании хостингового API. Ваш код на Python просто отправляет HTTP-запросы, поэтому подойдёт любой ноутбук.

Могу ли я использовать официальный пакет openai?

Да. Установите base_url в URL сервиса, а api_key — в свой ключ, и используйте идентификатор модели uncensored.

Поддерживает ли он асинхронный код?

Клиент AsyncOpenAI SDK работает с тем же base_url и ключом. Поддерживайте параллельные запросы на уровне не более 8.

Как попробовать его без оплаты?

Зарегистрируйтесь и получите пробный баланс $0.50 на странице ключа. Он действителен в течение 7 дней и не требует привязки карты.

Ваш ключ — всего в одной форме отсюда

Создайте аккаунт, скопируйте ключ, измените base URL. Это вся настройка.

Получить API-ключ