如何在 Python 中使用托管 API 实现 LLM
对于大多数项目,在 Python 中实现 LLM 的关键在于通过 HTTP 调用托管模型,而不是自己训练或部署模型。使用 OpenAI 兼容 API 只需约十行代码,且同一代码可扩展支持流式输出、JSON 输出和工具调用。
更新于

要点
- 安装 openai 包,设置 base URL 和密钥,并使用模型 ID uncensored。
- 支持流式输出、JSON 模式和工具调用,并使用标准 SDK 参数。
- 将对话历史保存在列表中,并注意 100,000-token 上下文窗口。
- 处理 HTTP 429 错误,进行短暂重试;失败或被拒绝的请求不收费。
托管 API 或自有模型
将语言模型集成到 Python 程序中有两种方法。你可以自行运行权重,这意味着需要 GPU、服务栈、量化选择以及大量的下载等待时间。或者,你可以向他人已运行的模型发送请求。第一种方法适合研究、严格的数据隔离或非常高的稳定流量。第二种方法适合几乎所有其他场景:脚本、机器人、产品功能或你希望当天中午就能运行的原型。
本指南采用第二种方法。此处服务是一个托管的、OpenAI 兼容的文本 API,由独立提供商运行,包含一个开放权重模型,针对合法成人用途进行了无内容拒绝的优化。它并非任何模型供应商的官方 API。由于它遵循 OpenAI 请求格式,标准的 openai 包可用,如果你偏好无依赖项,也可以使用普通的 requests。
步骤 1:安装并进行首次调用
安装 SDK 并将密钥存储在环境变量中,以免其出现在源代码中。
pip install openai
export API_KEY="your-key-here"
然后使用服务的 base URL 创建客户端。与任何其他 OpenAI 风格设置相比,你只需更改 URL、密钥和模型名称。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.fluxapikey.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain list comprehensions in two sentences."},
],
)
print(resp.choices[0].message.content)
print(resp.usage)
这是一个完整可运行的程序。其背后的接口是 POST /v1/chat/completions,通过 Authorization: Bearer <key> 进行认证,GET /v1/models 列出模型 ID。你可以在 密钥页面 获取密钥和小额试用额度。
步骤 2:流式获取回答
在终端或网页中等待几秒钟获取完整回复感觉较慢。设置 stream=True 并通过服务器发送事件打印到达的 token。
# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
使用量数据在流式输出结束时到达,因此最后一个数据块可能没有 choices。这就是循环先检查 chunk.choices 的原因。请记住:流式请求会一直占用并发槽位,直到流结束,因此务必读取到末尾或关闭它。
步骤 3:保持对话
模型在调用之间没有记忆。对话只是一个不断增长的消息列表,你每次都需要重新发送。一个简单的类就足够了:
# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
def __init__(self, system):
self.messages = [{"role": "system", "content": system}]
def say(self, text):
self.messages.append({"role": "user", "content": text})
r = client.chat.completions.create(model="uncensored", messages=self.messages)
answer = r.choices[0].message.content
self.messages.append({"role": "assistant", "content": answer})
return answer
bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))
上下文窗口为 100,000 token,由提示词和补全共享。这很充裕,但长对话会随着每次交互增长,并且每次请求都要为整个历史付费。当历史变得庞大时,删除最旧的交互或将其替换为你要求模型生成的简短摘要。
步骤 4:获取结构化输出
程序需要数据,而不是段落。JSON 模式使回复成为有效的 JSON。在提示词中说明你期望的键。
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
{"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])
有效的 JSON 并不能保证你的键存在。在代码中检查它们,如果缺少则重试一次。
步骤 5:让模型调用你的函数
工具调用让模型请求你的程序运行函数,然后继续处理结果。你描述工具,检查回复是否包含调用,运行它,并使用 role tool 将输出发回。
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
tools = [{
"type": "function",
"function": {
"name": "get_word_count",
"description": "Count the words in a text.",
"parameters": {
"type": "object",
"properties": {"text": {"type": "string"}},
"required": ["text"],
},
},
}]
messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = len(args["text"].split())
messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
在执行操作之前始终验证参数,因为模型可能会生成你未预期的调用。工具调用也支持流式输出,以 tool_calls 增量形式呈现,如果你需要的话。文档 列出了每个字段。
步骤 6:处理限制和错误
完整密钥允许 8 个并发请求和每分钟 300 次;试用密钥允许 2 个和每分钟 60 次。超出限制时,API 会返回 HTTP 429 响应。错误代码为 rate_limited(每分钟请求过多)和 concurrency(同时请求过多)。在临时过载时,你还会收到 429 响应,并带有 Retry-After: 5 标头。一个简单的重试包装器可以覆盖这三种情况:
# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError
def ask(messages, tries=4):
for i in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError:
time.sleep(5 * (i + 1))
raise RuntimeError("still limited after retries")
如果你在线程中运行工作,使用 ThreadPoolExecutor(max_workers=8) 将线程数限制在 8 以内,这样很少会触及并发限制。每个响应都带有 X-Request-Id,这是联系 支持 时引用的内容,X-Balance-USD 显示你的剩余额度。最大请求体大小为 8 MB。
改变输出的设置
日常调优的大部分工作集中在少数几个参数上,所有参数都传递给模型。
temperature控制随机性。提取和分类使用 0.2 或更低,聊天使用约 0.7,头脑风暴和小说创作使用 1.0 或更高。top_p修剪词选择的罕见尾部。更改其中一个或 temperature,不要同时更改两者,以便确定是哪个参数起了作用。seed使重复运行更具可比性。在测试中很有用,你可以看到提示词更改的效果,而不是噪声。stop在你选择的字符串处结束生成,这对于切断不断添加评论的模型很有用。max_tokens是可选的。如果不设置,补全可能会使用 100,000-token 窗口中剩余的任何内容。当你希望限制长度和成本时,请设置它。- 频率和存在惩罚有助于抑制重复,这对于开始循环的长创意输出很有帮助。
在你关心的任何输出旁边记录你使用的设置。几个月后,“为什么回答不同”几乎总是因为参数或系统消息发生了变化。
同时运行多个请求
一次发送一个请求的循环会浪费大部分额度。使用完整密钥,你可以同时有 8 个请求在运行,因此线程池可以将长批处理的时间缩短至大约八分之一。
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")
def summarise(text):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise in one line: " + text}],
max_tokens=60,
)
return r.choices[0].message.content
texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
for line in pool.map(summarise, texts):
print(line)
将工作线程数量保持在 8 或以下,试用密钥则保持在 2。如果你仍然看到带有代码 concurrency 的 429 响应,请将数量减少一或两个。每分钟 300 次的限制对快速短请求很重要,因此一批微小调用可能会在达到并发上限之前先达到该限制。
常见问题及解决方法
大多数首日错误来自少数几个原因。
- 401 或认证错误。 密钥缺失、输入错误或发送到了错误的主机。打印你的客户端实际使用的 base URL,并确保它以
/v1结尾。 - 未找到模型。 模型 ID 必须是
uncensored。如果你想确认服务器列出的内容,请调用GET /v1/models。 - 回复为空或截断。较低的
max_tokens会在句子中间停止回答。请调高该值或将其移除。检查 choice 上的finish_reason:length表示触发了上限。 - 无法解析的 JSON。 要么回复被截断,要么提示词从未描述形状。首先修复提示词,并将解析包装在 try 块中。
- 首 token 延迟。 非常长的提示词需要更长的处理时间。修剪历史或发送更少的上下文。
- 请求过大。 请求体限制为 8 MB,token 窗口为 100,000。将大文档拆分为片段并分别进行摘要。
如果某些内容仍然看起来不正确,请记录带有失败输入的 X-Request-Id 标头。这能让 支持团队 找到确切的请求。
费用说明
你按预付额度支付输入 token 每 1,000,000 个 $0.15,输出 token 每 1,000,000 个 $0.50。一次典型调用输入 2,000 个 token、输出 500 个 token,输入费用为 0.002 x $0.15 = $0.0003,输出费用为 0.0005 x $0.50 = $0.00025,总计 $0.00055。一万个此类调用费用为 $5.50。失败或被拒绝的请求不收费,额度永不过期。充值金额从 $20 到 $500 不等;详见定价中的奖励层级。提示词不用于训练。
输出 token 的成本高于输入 token,因此最经济的习惯是要求简短的回答:说两句话,或仅输出 JSON,并将 max_tokens 设置为合理的上限。在开发期间读取 resp.usage 以查看你提示词的实际 token 数量,并在扩展任务之前乘以上述费率。X-Balance-USD 标头显示每次调用后剩余的金额。
更多指南
问答
在 Python 中实现 LLM 需要 GPU 吗?
使用托管 API 不需要。你的 Python 代码仅发送 HTTP 请求,因此任何笔记本电脑均可运行。
我可以使用官方的 openai 包吗?
可以。将 base_url 设置为服务 URL,将 api_key 设置为你的密钥,并使用模型 ID uncensored。
支持异步代码吗?
SDK 的 AsyncOpenAI 客户端可与相同的 base URL 和密钥配合使用。请将并发请求数保持在 8 个或以下。
如何在不付费的情况下试用?
在密钥页面注册并领取 $0.50试用额度。有效期 7 天,无需绑定银行卡。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改base URL。这就是全部设置。