繁中 ▾
取得 API 金鑰

如何在 Python 中使用託管 API 實作 LLM

對於大多數專案,在 Python 中實作 LLM 的關鍵在於透過 HTTP 呼叫託管模型,而非自行訓練或部署模型。使用 OpenAI 相容的 API 只需約十行程式碼,且相同程式碼可擴展為串流輸出、JSON 模式與函式呼叫。

更新

終端機向雲端伺服器發送光束並接收資料方塊,說明 Python 對託管 LLM 的呼叫

重點摘要

  • 安裝 openai 套件,設定 base URL 和金鑰,並使用模型 ID uncensored。
  • 串流輸出、JSON 模式和函式呼叫皆受支援,並使用標準 SDK 參數。
  • 將對話歷史保留在列表中,並觀察 100,000 token 的上下文視窗。
  • 處理 HTTP 429 錯誤並進行短時間重試;失敗或遭拒的請求不會計費。

託管 API 或自有模型

將語言模型放入 Python 程式有兩種方式。你可以自行執行權重,這意味著需要 GPU、服務堆疊、量化選擇以及大量等待下載。或者,你可以將請求發送給他人已執行的模型。第一種方式適合研究、嚴格資料隔離或非常高的穩定流量。第二種方式幾乎適合所有其他情況:腳本、機器人、產品功能、希望午餐前就能運作的原型。

本指南採用第二種方式。此服務為託管式、OpenAI 相容的文字 API,由獨立供應商運行,具備單一開放權重模型,並針對合法成人用途進行調整,以無內容拒絕的方式回答。它並非任何模型供應商的官方 API。由於它遵循 OpenAI 請求格式,標準的 openai 套件可以運作,如果你偏好無依賴,單純的 requests 也可以。

步驟 1:安裝並進行首次呼叫

安裝 SDK 並將金鑰儲存於環境變數中,以免其出現在你的原始碼中。

pip install openai
export API_KEY="your-key-here"

然後使用服務的 base URL 建立客戶端。與任何其他 OpenAI 風格的設定相比,你唯一需要更改的是 URL、金鑰和模型名稱。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.fluxapikey.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain list comprehensions in two sentences."},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage)

這是一個完整且可運行的程式。其後端的端點為 POST /v1/chat/completions,使用 Authorization: Bearer <key> 進行驗證,而 GET /v1/models 則列出模型 ID。你可以在 金鑰管理頁面取得金鑰與少量試用額度。

步驟 2:串流輸出答案

在終端機或網頁中等待數秒鐘才能收到完整回覆,感覺很慢。請設定 stream=True,並在伺服器推送事件(SSE)中收到 token 時將其列印出來。

# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

使用數據會在串流結束時到達,因此最後一個區塊可能沒有 choices。這就是迴圈首先檢查 chunk.choices 的原因。要記住的一點是:串流請求會保留其並行配額直到串流結束,因此請務必讀取至結束或將其關閉。

步驟 3:保持對話

模型在呼叫之間沒有記憶。聊天只是你每次重新發送的不斷增長的訊息列表。一個小類別就足夠了:

# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
    def __init__(self, system):
        self.messages = [{"role": "system", "content": system}]

    def say(self, text):
        self.messages.append({"role": "user", "content": text})
        r = client.chat.completions.create(model="uncensored", messages=self.messages)
        answer = r.choices[0].message.content
        self.messages.append({"role": "assistant", "content": answer})
        return answer

bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))

上下文視窗為 100,000 token,由提示詞與補全內容共用。這空間很大,但長對話會隨著每次互動而增長,且每次請求都需為完整歷史記錄付費。當歷史記錄變大時,請移除最早的對話輪次,或要求模型撰寫一段簡短摘要來取代它們。

步驟 4:取得結構化輸出

程式需要資料,而非段落。JSON 模式使回覆成為有效的 JSON。在提示詞中說明你預期的鍵。

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
        {"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
    ],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])

有效的 JSON 並不保證你的鍵存在。在程式碼中檢查它們,如果缺少則重試一次。

步驟 5:讓模型呼叫你的函式

函式呼叫讓模型要求你的程式執行函式,然後繼續使用結果。你描述工具,檢查回覆是否包含呼叫,執行它,並使用 role tool 將輸出傳回。

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_word_count",
        "description": "Count the words in a text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = len(args["text"].split())
        messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

在執行動作前務必驗證參數,因為模型可能會產生你未預期的呼叫。函式呼叫也會以 tool_calls 資料片段的形式串流輸出,如果你需要該功能的話。文件列出了所有欄位。

步驟 6:處理限制與錯誤

完整金鑰允許 8 個並行請求和每分鐘 300 個;試用金鑰允許 2 個和每分鐘 60 個。超過限制時,API 會回應 HTTP 429。錯誤代碼為 rate_limited(每分鐘請求過多)和 concurrency(同時請求過多)。在暫時過載時,你也會收到 429,並帶有 Retry-After: 5 標頭。一個小型重試包裝函式涵蓋所有三種情況:

# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError

def ask(messages, tries=4):
    for i in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (i + 1))
    raise RuntimeError("still limited after retries")

如果你在執行緒中執行工作,請使用 ThreadPoolExecutor(max_workers=8) 將其限制在 8 個,這樣你很少會觸及並行限制。每個回應都帶有 X-Request-Id,這是聯繫 支援 時應引用的內容,而 X-Balance-USD 顯示你的剩餘額度。最大主體大小為 8 MB。

影響輸出的設定

大多數日常調整發生在一組參數中,所有參數都傳遞給模型。

  • temperature 控制隨機性。對於提取和分類,使用 0.2 或更低;對於聊天,使用約 0.7;對於腦力激盪和小說,使用 1.0 或更高。
  • top_p 修剪詞語選擇的罕見尾部。更改其中一個或溫度,不要同時更改兩者,以便知道是哪一個產生了效果。
  • seed 讓重複運行的結果更具可比性。在測試中,當你想查看提示詞變更的效果而非雜訊時,這很有用。
  • stop 在你選擇的字串處結束生成,這對於截斷不斷添加評論的模型很有幫助。
  • max_tokens 是選配的。如果不設定,補全可能會使用 100,000-token 上下文視窗中剩餘的任何內容。當你想要長度與成本的硬性上限時,請設定它。
  • 頻率和存在懲罰可減少重複,這有助於開始循環的長篇創意輸出。

將你使用的設定寫在你在乎的任何輸出旁邊。數月後,「為什麼它回答得不同」幾乎總是因為參數改變或系統訊息改變。

同時執行許多請求

一次只發送一個請求的迴圈會浪費大部分額度。擁有完整金鑰時,你可以同時進行 8 個請求,因此使用執行緒池可將大量批次處理的時間縮短至約八分之一。

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")

def summarise(text):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarise in one line: " + text}],
        max_tokens=60,
    )
    return r.choices[0].message.content

texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
    for line in pool.map(summarise, texts):
        print(line)

將工作執行緒數量保持在 8 或以下,試用金鑰則為 2。如果仍看到帶有程式碼 concurrency 的 429 回應,請將數字調低一或兩個。每分鐘 300 次的限制對快速且短小的請求影響很大,因此大量微小請求可能會先觸及速率限制,而非並行上限。

常見問題與解決方案

大多數首日錯誤來自少數幾個原因。

  • 401 或驗證錯誤。 金鑰遺失、輸入錯誤或發送至錯誤的主機。請列印你的客戶端實際使用的 Base URL,並確保其以 /v1 結尾。
  • 找不到模型。 模型 ID 必須是 uncensored。如果你想確認伺服器列出什麼,請呼叫 GET /v1/models。
  • 回覆空白或被截斷。 過低的 max_tokens 會導致答案在句子中間停止。請調高或移除該限制。檢查選擇項的 finish_reason:length 表示已觸及上限。
  • 無法解析的 JSON。 可能是回覆被截斷,或是提示詞從未描述資料結構。先修正提示詞,並將解析過程包裹在 try 區塊中。
  • 第一個 token 延遲。 非常長的提示詞需要更長時間處理。請精簡歷史記錄或減少上下文內容。
  • 請求太大。 主體限制為 8 MB,上下文視窗為 100,000。將大型文件拆分為片段並對每個片段進行摘要。

當某些內容看起來仍有問題時,請記錄 X-Request-Id 標頭與失敗的輸入內容。這能讓 支援團隊 找到確切的請求。

費用說明

你需為預付額度中的每 100 萬個輸入 token 支付 $0.15,每 100 萬個輸出 token 支付 $0.50。一次典型的請求包含 2,000 個輸入 token 與 500 個輸出 token,成本為 0.002 x $0.15 = $0.0003(輸入)加上 0.0005 x $0.50 = $0.00025(輸出),總計 $0.00055。一萬次此類請求的成本為 $5.50。失敗或被拒絕的請求不會收費,且額度永不過期。儲值金額範圍為 $20 至 $500;請參見 定價 查看贈額等級。提示詞不會用於訓練。

輸出 token 的成本高於輸入 token,因此最經濟的習慣是要求簡短的回答:例如限制為兩句話,或僅輸出 JSON,並將 max_tokens 設定為合理的上限。在開發期間請閱讀 resp.usage 以查看提示詞的實際 token 計數,並在擴大作業規模前,將計數乘以上述費率。X-Balance-USD 標頭會顯示每次請求後的剩餘金額。

問答

在 Python 中實作 LLM 需要 GPU 嗎?

使用託管 API 則不需要。你的 Python 程式碼僅發送 HTTP 請求,因此任何筆電皆可運作。

可以使用官方的 openai 套件嗎?

可以。將 base_url 設為服務 URL,api_key 設為你的金鑰,並使用模型 ID uncensored。

支援非同步程式碼嗎?

SDK 的 AsyncOpenAI 客戶端使用相同的 Base URL 與金鑰。請將並行請求數量保持在 8 或以下。

如何在不付費的情況下試用?

註冊並在金鑰頁面領取 $0.50 試用額度。該額度有效期為 7 天,且無需綁定信用卡。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰