中文 ▾
获取 API 密钥

如何在 Python 中使用托管 API 实现 LLM

对于大多数项目,在 Python 中实现 LLM 的关键在于通过 HTTP 调用托管模型,而不是自己训练或部署模型。使用 OpenAI 兼容 API 只需约十行代码,且同一代码可扩展支持流式输出、JSON 输出和工具调用。

更新于

终端向云服务器发送光束并接收数据立方体,演示对托管 LLM 的 Python 调用

要点

  • 安装 openai 包,设置 base URL 和密钥,并使用模型 ID uncensored。
  • 支持流式输出、JSON 模式和工具调用,并使用标准 SDK 参数。
  • 将对话历史保存在列表中,并注意 100,000-token 上下文窗口。
  • 处理 HTTP 429 错误,进行短暂重试;失败或被拒绝的请求不收费。

托管 API 或自有模型

将语言模型集成到 Python 程序中有两种方法。你可以自行运行权重,这意味着需要 GPU、服务栈、量化选择以及大量的下载等待时间。或者,你可以向他人已运行的模型发送请求。第一种方法适合研究、严格的数据隔离或非常高的稳定流量。第二种方法适合几乎所有其他场景:脚本、机器人、产品功能或你希望当天中午就能运行的原型。

本指南采用第二种方法。此处服务是一个托管的、OpenAI 兼容的文本 API,由独立提供商运行,包含一个开放权重模型,针对合法成人用途进行了无内容拒绝的优化。它并非任何模型供应商的官方 API。由于它遵循 OpenAI 请求格式,标准的 openai 包可用,如果你偏好无依赖项,也可以使用普通的 requests。

步骤 1:安装并进行首次调用

安装 SDK 并将密钥存储在环境变量中,以免其出现在源代码中。

pip install openai
export API_KEY="your-key-here"

然后使用服务的 base URL 创建客户端。与任何其他 OpenAI 风格设置相比,你只需更改 URL、密钥和模型名称。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.fluxapikey.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain list comprehensions in two sentences."},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage)

这是一个完整可运行的程序。其背后的接口是 POST /v1/chat/completions,通过 Authorization: Bearer <key> 进行认证,GET /v1/models 列出模型 ID。你可以在 密钥页面 获取密钥和小额试用额度。

步骤 2:流式获取回答

在终端或网页中等待几秒钟获取完整回复感觉较慢。设置 stream=True 并通过服务器发送事件打印到达的 token。

# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

使用量数据在流式输出结束时到达,因此最后一个数据块可能没有 choices。这就是循环先检查 chunk.choices 的原因。请记住:流式请求会一直占用并发槽位,直到流结束,因此务必读取到末尾或关闭它。

步骤 3:保持对话

模型在调用之间没有记忆。对话只是一个不断增长的消息列表,你每次都需要重新发送。一个简单的类就足够了:

# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
    def __init__(self, system):
        self.messages = [{"role": "system", "content": system}]

    def say(self, text):
        self.messages.append({"role": "user", "content": text})
        r = client.chat.completions.create(model="uncensored", messages=self.messages)
        answer = r.choices[0].message.content
        self.messages.append({"role": "assistant", "content": answer})
        return answer

bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))

上下文窗口为 100,000 token,由提示词和补全共享。这很充裕,但长对话会随着每次交互增长,并且每次请求都要为整个历史付费。当历史变得庞大时,删除最旧的交互或将其替换为你要求模型生成的简短摘要。

步骤 4:获取结构化输出

程序需要数据,而不是段落。JSON 模式使回复成为有效的 JSON。在提示词中说明你期望的键。

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
        {"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
    ],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])

有效的 JSON 并不能保证你的键存在。在代码中检查它们,如果缺少则重试一次。

步骤 5:让模型调用你的函数

工具调用让模型请求你的程序运行函数,然后继续处理结果。你描述工具,检查回复是否包含调用,运行它,并使用 role tool 将输出发回。

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_word_count",
        "description": "Count the words in a text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = len(args["text"].split())
        messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

在执行操作之前始终验证参数,因为模型可能会生成你未预期的调用。工具调用也支持流式输出,以 tool_calls 增量形式呈现,如果你需要的话。文档 列出了每个字段。

步骤 6:处理限制和错误

完整密钥允许 8 个并发请求和每分钟 300 次;试用密钥允许 2 个和每分钟 60 次。超出限制时,API 会返回 HTTP 429 响应。错误代码为 rate_limited(每分钟请求过多)和 concurrency(同时请求过多)。在临时过载时,你还会收到 429 响应,并带有 Retry-After: 5 标头。一个简单的重试包装器可以覆盖这三种情况:

# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError

def ask(messages, tries=4):
    for i in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (i + 1))
    raise RuntimeError("still limited after retries")

如果你在线程中运行工作,使用 ThreadPoolExecutor(max_workers=8) 将线程数限制在 8 以内,这样很少会触及并发限制。每个响应都带有 X-Request-Id,这是联系 支持 时引用的内容,X-Balance-USD 显示你的剩余额度。最大请求体大小为 8 MB。

改变输出的设置

日常调优的大部分工作集中在少数几个参数上,所有参数都传递给模型。

  • temperature 控制随机性。提取和分类使用 0.2 或更低,聊天使用约 0.7,头脑风暴和小说创作使用 1.0 或更高。
  • top_p 修剪词选择的罕见尾部。更改其中一个或 temperature,不要同时更改两者,以便确定是哪个参数起了作用。
  • seed 使重复运行更具可比性。在测试中很有用,你可以看到提示词更改的效果,而不是噪声。
  • stop 在你选择的字符串处结束生成,这对于切断不断添加评论的模型很有用。
  • max_tokens 是可选的。如果不设置,补全可能会使用 100,000-token 窗口中剩余的任何内容。当你希望限制长度和成本时,请设置它。
  • 频率和存在惩罚有助于抑制重复,这对于开始循环的长创意输出很有帮助。

在你关心的任何输出旁边记录你使用的设置。几个月后,“为什么回答不同”几乎总是因为参数或系统消息发生了变化。

同时运行多个请求

一次发送一个请求的循环会浪费大部分额度。使用完整密钥,你可以同时有 8 个请求在运行,因此线程池可以将长批处理的时间缩短至大约八分之一。

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")

def summarise(text):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarise in one line: " + text}],
        max_tokens=60,
    )
    return r.choices[0].message.content

texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
    for line in pool.map(summarise, texts):
        print(line)

将工作线程数量保持在 8 或以下,试用密钥则保持在 2。如果你仍然看到带有代码 concurrency 的 429 响应,请将数量减少一或两个。每分钟 300 次的限制对快速短请求很重要,因此一批微小调用可能会在达到并发上限之前先达到该限制。

常见问题及解决方法

大多数首日错误来自少数几个原因。

  • 401 或认证错误。 密钥缺失、输入错误或发送到了错误的主机。打印你的客户端实际使用的 base URL,并确保它以 /v1 结尾。
  • 未找到模型。 模型 ID 必须是 uncensored。如果你想确认服务器列出的内容,请调用 GET /v1/models。
  • 回复为空或截断。较低的 max_tokens 会在句子中间停止回答。请调高该值或将其移除。检查 choice 上的 finish_reason:length 表示触发了上限。
  • 无法解析的 JSON。 要么回复被截断,要么提示词从未描述形状。首先修复提示词,并将解析包装在 try 块中。
  • 首 token 延迟。 非常长的提示词需要更长的处理时间。修剪历史或发送更少的上下文。
  • 请求过大。 请求体限制为 8 MB,token 窗口为 100,000。将大文档拆分为片段并分别进行摘要。

如果某些内容仍然看起来不正确,请记录带有失败输入的 X-Request-Id 标头。这能让 支持团队 找到确切的请求。

费用说明

你按预付额度支付输入 token 每 1,000,000 个 $0.15,输出 token 每 1,000,000 个 $0.50。一次典型调用输入 2,000 个 token、输出 500 个 token,输入费用为 0.002 x $0.15 = $0.0003,输出费用为 0.0005 x $0.50 = $0.00025,总计 $0.00055。一万个此类调用费用为 $5.50。失败或被拒绝的请求不收费,额度永不过期。充值金额从 $20 到 $500 不等;详见定价中的奖励层级。提示词不用于训练。

输出 token 的成本高于输入 token,因此最经济的习惯是要求简短的回答:说两句话,或仅输出 JSON,并将 max_tokens 设置为合理的上限。在开发期间读取 resp.usage 以查看你提示词的实际 token 数量,并在扩展任务之前乘以上述费率。X-Balance-USD 标头显示每次调用后剩余的金额。

问答

在 Python 中实现 LLM 需要 GPU 吗?

使用托管 API 不需要。你的 Python 代码仅发送 HTTP 请求,因此任何笔记本电脑均可运行。

我可以使用官方的 openai 包吗?

可以。将 base_url 设置为服务 URL,将 api_key 设置为你的密钥,并使用模型 ID uncensored。

支持异步代码吗?

SDK 的 AsyncOpenAI 客户端可与相同的 base URL 和密钥配合使用。请将并发请求数保持在 8 个或以下。

如何在不付费的情况下试用?

在密钥页面注册并领取 $0.50试用额度。有效期 7 天,无需绑定银行卡。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改base URL。这就是全部设置。

获取 API 密钥