如何在 Python 中使用託管 API 實作 LLM
對於大多數專案,在 Python 中實作 LLM 的關鍵在於透過 HTTP 呼叫託管模型,而非自行訓練或部署模型。使用 OpenAI 相容的 API 只需約十行程式碼,且相同程式碼可擴展為串流輸出、JSON 模式與函式呼叫。
更新

重點摘要
- 安裝 openai 套件,設定 base URL 和金鑰,並使用模型 ID uncensored。
- 串流輸出、JSON 模式和函式呼叫皆受支援,並使用標準 SDK 參數。
- 將對話歷史保留在列表中,並觀察 100,000 token 的上下文視窗。
- 處理 HTTP 429 錯誤並進行短時間重試;失敗或遭拒的請求不會計費。
託管 API 或自有模型
將語言模型放入 Python 程式有兩種方式。你可以自行執行權重,這意味著需要 GPU、服務堆疊、量化選擇以及大量等待下載。或者,你可以將請求發送給他人已執行的模型。第一種方式適合研究、嚴格資料隔離或非常高的穩定流量。第二種方式幾乎適合所有其他情況:腳本、機器人、產品功能、希望午餐前就能運作的原型。
本指南採用第二種方式。此服務為託管式、OpenAI 相容的文字 API,由獨立供應商運行,具備單一開放權重模型,並針對合法成人用途進行調整,以無內容拒絕的方式回答。它並非任何模型供應商的官方 API。由於它遵循 OpenAI 請求格式,標準的 openai 套件可以運作,如果你偏好無依賴,單純的 requests 也可以。
步驟 1:安裝並進行首次呼叫
安裝 SDK 並將金鑰儲存於環境變數中,以免其出現在你的原始碼中。
pip install openai
export API_KEY="your-key-here"
然後使用服務的 base URL 建立客戶端。與任何其他 OpenAI 風格的設定相比,你唯一需要更改的是 URL、金鑰和模型名稱。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.fluxapikey.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain list comprehensions in two sentences."},
],
)
print(resp.choices[0].message.content)
print(resp.usage)
這是一個完整且可運行的程式。其後端的端點為 POST /v1/chat/completions,使用 Authorization: Bearer <key> 進行驗證,而 GET /v1/models 則列出模型 ID。你可以在 金鑰管理頁面取得金鑰與少量試用額度。
步驟 2:串流輸出答案
在終端機或網頁中等待數秒鐘才能收到完整回覆,感覺很慢。請設定 stream=True,並在伺服器推送事件(SSE)中收到 token 時將其列印出來。
# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
使用數據會在串流結束時到達,因此最後一個區塊可能沒有 choices。這就是迴圈首先檢查 chunk.choices 的原因。要記住的一點是:串流請求會保留其並行配額直到串流結束,因此請務必讀取至結束或將其關閉。
步驟 3:保持對話
模型在呼叫之間沒有記憶。聊天只是你每次重新發送的不斷增長的訊息列表。一個小類別就足夠了:
# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
def __init__(self, system):
self.messages = [{"role": "system", "content": system}]
def say(self, text):
self.messages.append({"role": "user", "content": text})
r = client.chat.completions.create(model="uncensored", messages=self.messages)
answer = r.choices[0].message.content
self.messages.append({"role": "assistant", "content": answer})
return answer
bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))
上下文視窗為 100,000 token,由提示詞與補全內容共用。這空間很大,但長對話會隨著每次互動而增長,且每次請求都需為完整歷史記錄付費。當歷史記錄變大時,請移除最早的對話輪次,或要求模型撰寫一段簡短摘要來取代它們。
步驟 4:取得結構化輸出
程式需要資料,而非段落。JSON 模式使回覆成為有效的 JSON。在提示詞中說明你預期的鍵。
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
{"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])
有效的 JSON 並不保證你的鍵存在。在程式碼中檢查它們,如果缺少則重試一次。
步驟 5:讓模型呼叫你的函式
函式呼叫讓模型要求你的程式執行函式,然後繼續使用結果。你描述工具,檢查回覆是否包含呼叫,執行它,並使用 role tool 將輸出傳回。
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
tools = [{
"type": "function",
"function": {
"name": "get_word_count",
"description": "Count the words in a text.",
"parameters": {
"type": "object",
"properties": {"text": {"type": "string"}},
"required": ["text"],
},
},
}]
messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = len(args["text"].split())
messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
在執行動作前務必驗證參數,因為模型可能會產生你未預期的呼叫。函式呼叫也會以 tool_calls 資料片段的形式串流輸出,如果你需要該功能的話。文件列出了所有欄位。
步驟 6:處理限制與錯誤
完整金鑰允許 8 個並行請求和每分鐘 300 個;試用金鑰允許 2 個和每分鐘 60 個。超過限制時,API 會回應 HTTP 429。錯誤代碼為 rate_limited(每分鐘請求過多)和 concurrency(同時請求過多)。在暫時過載時,你也會收到 429,並帶有 Retry-After: 5 標頭。一個小型重試包裝函式涵蓋所有三種情況:
# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError
def ask(messages, tries=4):
for i in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError:
time.sleep(5 * (i + 1))
raise RuntimeError("still limited after retries")
如果你在執行緒中執行工作,請使用 ThreadPoolExecutor(max_workers=8) 將其限制在 8 個,這樣你很少會觸及並行限制。每個回應都帶有 X-Request-Id,這是聯繫 支援 時應引用的內容,而 X-Balance-USD 顯示你的剩餘額度。最大主體大小為 8 MB。
影響輸出的設定
大多數日常調整發生在一組參數中,所有參數都傳遞給模型。
temperature控制隨機性。對於提取和分類,使用 0.2 或更低;對於聊天,使用約 0.7;對於腦力激盪和小說,使用 1.0 或更高。top_p修剪詞語選擇的罕見尾部。更改其中一個或溫度,不要同時更改兩者,以便知道是哪一個產生了效果。seed讓重複運行的結果更具可比性。在測試中,當你想查看提示詞變更的效果而非雜訊時,這很有用。stop在你選擇的字串處結束生成,這對於截斷不斷添加評論的模型很有幫助。max_tokens是選配的。如果不設定,補全可能會使用 100,000-token 上下文視窗中剩餘的任何內容。當你想要長度與成本的硬性上限時,請設定它。- 頻率和存在懲罰可減少重複,這有助於開始循環的長篇創意輸出。
將你使用的設定寫在你在乎的任何輸出旁邊。數月後,「為什麼它回答得不同」幾乎總是因為參數改變或系統訊息改變。
同時執行許多請求
一次只發送一個請求的迴圈會浪費大部分額度。擁有完整金鑰時,你可以同時進行 8 個請求,因此使用執行緒池可將大量批次處理的時間縮短至約八分之一。
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")
def summarise(text):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise in one line: " + text}],
max_tokens=60,
)
return r.choices[0].message.content
texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
for line in pool.map(summarise, texts):
print(line)
將工作執行緒數量保持在 8 或以下,試用金鑰則為 2。如果仍看到帶有程式碼 concurrency 的 429 回應,請將數字調低一或兩個。每分鐘 300 次的限制對快速且短小的請求影響很大,因此大量微小請求可能會先觸及速率限制,而非並行上限。
常見問題與解決方案
大多數首日錯誤來自少數幾個原因。
- 401 或驗證錯誤。 金鑰遺失、輸入錯誤或發送至錯誤的主機。請列印你的客戶端實際使用的 Base URL,並確保其以
/v1結尾。 - 找不到模型。 模型 ID 必須是
uncensored。如果你想確認伺服器列出什麼,請呼叫GET /v1/models。 - 回覆空白或被截斷。 過低的
max_tokens會導致答案在句子中間停止。請調高或移除該限制。檢查選擇項的finish_reason:length表示已觸及上限。 - 無法解析的 JSON。 可能是回覆被截斷,或是提示詞從未描述資料結構。先修正提示詞,並將解析過程包裹在 try 區塊中。
- 第一個 token 延遲。 非常長的提示詞需要更長時間處理。請精簡歷史記錄或減少上下文內容。
- 請求太大。 主體限制為 8 MB,上下文視窗為 100,000。將大型文件拆分為片段並對每個片段進行摘要。
當某些內容看起來仍有問題時,請記錄 X-Request-Id 標頭與失敗的輸入內容。這能讓 支援團隊 找到確切的請求。
費用說明
你需為預付額度中的每 100 萬個輸入 token 支付 $0.15,每 100 萬個輸出 token 支付 $0.50。一次典型的請求包含 2,000 個輸入 token 與 500 個輸出 token,成本為 0.002 x $0.15 = $0.0003(輸入)加上 0.0005 x $0.50 = $0.00025(輸出),總計 $0.00055。一萬次此類請求的成本為 $5.50。失敗或被拒絕的請求不會收費,且額度永不過期。儲值金額範圍為 $20 至 $500;請參見 定價 查看贈額等級。提示詞不會用於訓練。
輸出 token 的成本高於輸入 token,因此最經濟的習慣是要求簡短的回答:例如限制為兩句話,或僅輸出 JSON,並將 max_tokens 設定為合理的上限。在開發期間請閱讀 resp.usage 以查看提示詞的實際 token 計數,並在擴大作業規模前,將計數乘以上述費率。X-Balance-USD 標頭會顯示每次請求後的剩餘金額。
更多指南
問答
在 Python 中實作 LLM 需要 GPU 嗎?
使用託管 API 則不需要。你的 Python 程式碼僅發送 HTTP 請求,因此任何筆電皆可運作。
可以使用官方的 openai 套件嗎?
可以。將 base_url 設為服務 URL,api_key 設為你的金鑰,並使用模型 ID uncensored。
支援非同步程式碼嗎?
SDK 的 AsyncOpenAI 客戶端使用相同的 Base URL 與金鑰。請將並行請求數量保持在 8 或以下。
如何在不付費的情況下試用?
註冊並在金鑰頁面領取 $0.50 試用額度。該額度有效期為 7 天,且無需綁定信用卡。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。