JA ▾
API キーを取得

ホスト型APIでPythonにLLMを実装する方法

多くのプロジェクトにおいて、PythonにLLMを実装する方法は、自分でモデルを訓練・提供することではなく、ホストされたモデルをHTTPで呼び出すことに尽きます。OpenAI互換APIでは約10行で済み、同じコードがストリーミング、JSON出力、ツール呼び出しへと拡張できます。

更新

ターミナルからクラウドサーバーへビームを送り、データキューブを受信する様子。ホスト型LLMへのPython呼び出しを例示

主要ポイント

  • openaiパッケージをインストールし、base URLとキーを設定し、モデルIDはuncensoredを使用してください。
  • ストリーミング、JSONモード、ツール呼び出しはすべてサポートされており、標準的なSDK引数を使用します。
  • チャット履歴をリストとして保持し、100,000トークンのコンテキストウィンドウに注意してください。
  • HTTP 429エラーは短いリトライで処理してください。失敗または拒否されたリクエストは課金されません。

ホスト型APIまたは独自モデル

言語モデルをPythonプログラムに組み込むには2つの方法があります。重みデータを自分で実行する方法(GPU、サービングスタック、量子化の選択、ダウンロードの待機が必要)か、すでに別のサービスが実行しているモデルにリクエストを送る方法です。前者は研究、厳格なデータ分離、または非常に高い定常的な処理量に適しています。後者はスクリプト、ボット、製品機能、昼までに動作させたいプロトタイプなど、ほぼすべてのケースに適しています。

このガイドでは2つ目のルートを採用します。ここで提供されるサービスは、独立したプロバイダが運用するホスト型のOpenAI互換テキストAPIで、1つのオープンウェイトモデルを使用しています。このモデルは、成人による合法的な利用においてコンテンツ拒否なしで回答するようにチューニングされています。いかなるモデルベンダーの公式APIでもありません。OpenAIのリクエスト形式に従っているため、標準のopenaiパッケージが動作し、依存関係なしを好む場合は通常のrequestsも使用できます。

ステップ1:インストールと初回呼び出し

SDKをインストールし、環境変数にキーを格納してください。これにより、ソースコードに混入しないようにします。

pip install openai
export API_KEY="your-key-here"

次に、サービスのbase URLを使用してクライアントを作成します。他のOpenAIスタイルのセットアップと比較して変更するのはURL、キー、モデル名だけです。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.fluxapikey.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain list comprehensions in two sentences."},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage)

これが完全な動作プログラムです。背後のエンドポイントはPOST /v1/chat/completionsで、Authorization: Bearer <key>で認証され、GET /v1/modelsでモデルIDの一覧を取得できます。キーと少量の無料トライアルクレジットはキーページで入手できます。

ステップ2:回答をストリーミング

ターミナルやウェブページで完全な返信を数秒待つのは遅く感じられます。stream=Trueを設定し、サーバー送信イベントを介してトークンが到着次第出力してください。

# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

使用量はストリームの末尾に届くため、最後のチャンクにはchoicesが含まれていない場合があります。そのため、ループではまずchunk.choicesを確認します。覚えておくべき点として、ストリーミングリクエストはストリームが終了するまで同時実行数の枠を占有し続けるため、必ず最後まで読み取るか、閉じてください。

ステップ3:会話を維持する

モデルは呼び出しの間に記憶を保持しません。チャットは単にメッセージのリストであり、毎回再送信します。小さなクラスで十分です:

# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
    def __init__(self, system):
        self.messages = [{"role": "system", "content": system}]

    def say(self, text):
        self.messages.append({"role": "user", "content": text})
        r = client.chat.completions.create(model="uncensored", messages=self.messages)
        answer = r.choices[0].message.content
        self.messages.append({"role": "assistant", "content": answer})
        return answer

bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))

コンテキストウィンドウは100,000トークンで、プロンプトと補完の両方で共有されます。これは十分な容量ですが、長いチャットはターンごとに成長し、各リクエストで履歴全体に対して課金されます。サイズが大きくなったら、最も古いターンを削除するか、モデルに要約を書かせてそれと置き換えてください。

ステップ4:構造化された出力を取得する

プログラムは段落ではなくデータを必要とします。JSONモードは回答を有効なJSONにします。プロンプトで期待するキーを指定してください。

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
        {"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
    ],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])

有効なJSONがあなたのキーを保証するわけではありません。コードでそれらを確認し、欠けている場合は1回だけリトライしてください。

ステップ5:モデルに関数呼び出しをさせる

ツール呼び出しにより、モデルはプログラムに関数を実行させ、その結果を受けて処理を続行できます。ツールを記述し、回答に呼び出しが含まれているか確認し、実行して、role toolで出力を戻してください。

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_word_count",
        "description": "Count the words in a text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = len(args["text"].split())
        messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

モデルが予期しない呼び出しを生成する可能性があるため、アクションを起こす前に引数を常に検証してください。ツール呼び出しはtool_callsデルタとしてストリーミングすることもできます。ドキュメントにすべてのフィールドがリストされています。

ステップ6:制限とエラーの処理

フルキーは同時8リクエスト、1分あたり300リクエストまで許可します。試用版キーは同時2リクエスト、1分あたり60リクエストまでです。制限を超えるとAPIはHTTP 429を返します。エラーコードは、1分あたりのリクエストが多すぎる場合はrate_limited、一度に多すぎる場合はconcurrencyです。一時的な過負荷の場合も429を返し、Retry-After: 5ヘッダーが付きます。小さなリトライラッパーはこれら3つのケースすべてをカバーします:

# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError

def ask(messages, tries=4):
    for i in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (i + 1))
    raise RuntimeError("still limited after retries")

スレッドで処理を実行する場合は、ThreadPoolExecutor(max_workers=8)でスレッド数を8に制限し、同時実行数の制限に達しにくくしてください。各レスポンスにはX-Request-Idが含まれており、これはサポートに連絡する際に引用すべきIDです。また、X-Balance-USDは残高クレジットを示します。ボディの最大サイズは8 MBです。

出力を変更する設定

日々のチューニングの大部分は、モデルに渡される限られた数のパラメータで行われます。

  • temperatureはランダム性を制御します。抽出や分類には0.2以下、チャットには約0.7、ブレインストーミングやフィクションには1.0以上を使用してください。
  • top_pは、可能性の低い語選択肢の尾部を切り捨てます。これかtemperatureのどちらか一方だけを変更し、同時に両方を変えないでください。どちらが効果を持ったかを確認するためです。
  • seedは、反復実行の結果をより比較可能にします。プロンプト変更の影響を確認したいテストで、ノイズを避けるために有用です。
  • stopは、選択した文字列で生成を終了します。コメントを追加し続けるモデルを切り捨てる際に便利です。
  • max_tokensはオプションです。指定しない場合、補完は100,000トークンのウィンドウの残りをすべて使用することがあります。長さやコストに上限を設定したい場合に指定してください。
  • 頻度ペナルティと存在ペナルティは反復を抑制し、ループし始める長いクリエイティブな出力に役立ちます。

重要な出力の横に使用した設定を記録してください。数ヶ月後、「なぜ異なる回答をしたのか」は、ほとんどがパラメータの変更かシステムメッセージの変更です。

大量の同時リクエストの実行

1リクエストずつ送信するループは、許可枠の大部分を無駄にします。フルキーでは8つのリクエストを同時に実行できるため、スレッドプールを使用すると、バッチ処理の所要時間を約8分の1に短縮できます。

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")

def summarise(text):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarise in one line: " + text}],
        max_tokens=60,
    )
    return r.choices[0].message.content

texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
    for line in pool.map(summarise, texts):
        print(line)

ワーカー数は8以下、または試用キーの場合は2に保ってください。それでもコードconcurrencyの429応答が見られる場合は、数を1〜2減らしてください。1分あたり300リクエストの制限は、高速で短いリクエストには重要であるため、小さな呼び出しのバッチは同時実行数の制限に達する前にこの制限に達する可能性があります。

一般的な問題と修正

初日のエラーの大部分は、限られた数の原因に起因します。

  • 401または認証エラー。 キーが不足、誤入力、または間違ったホストに送信されています。クライアントが実際に使用するbase URLを出力し、それが/v1で終わっていることを確認してください。
  • モデルが見つかりません。 モデルIDはuncensoredである必要があります。サーバーがリストするモデルを確認するにはGET /v1/modelsを呼び出してください。
  • 空または切り捨てられた回答。 低いmax_tokensが文の途中で回答を停止させます。値を上げるか、削除してください。選択肢のfinish_reasonを確認し、lengthであれば上限に達したことを意味します。
  • 解析できないJSON。 回答が切り捨てられたか、プロンプトで形状が説明されませんでした。まずプロンプトを修正し、解析をtryブロックで囲んでください。
  • 最初のトークンの遅延。 非常に長いプロンプトは処理に時間がかかります。履歴を削減するか、送信するコンテキストを減らしてください。
  • リクエストが大きすぎます。 ボディの制限は8 MB、トークンウィンドウは100,000です。大きなドキュメントを分割し、それぞれを要約してください。

まだ問題がある場合は、失敗した入力とともにX-Request-Idヘッダーをログに記録してください。これにより、サポートが正確なリクエストを特定できます。

コスト

前払いクレジットから、入力トークン1Mあたり$0.15、出力トークン1Mあたり$0.50がかかります。2,000トークンを入力し500トークンを出力する典型的な呼び出しの場合、入力は0.002 x $0.15 = $0.0003、出力は0.0005 x $0.50 = $0.00025となり、合計$0.00055となります。このような呼び出しを1万回行うと$5.50かかります。失敗または拒否されたリクエストは課金されず、クレジットは期限切れになりません。チャージは$20から$500まで可能です。ボーナス段階については料金をご覧ください。プロンプトはトレーニングに使用されません。

出力トークンは入力トークンより高いため、最もコストを抑える方法は短い回答を依頼することです。2文で答えるか、JSON のみで返すようにし、max_tokensを適切な上限に設定してください。開発中はresp.usageを確認してプロンプトの実際のトークン数を確認し、ジョブをスケールアップする前に上記のレートで計算してください。X-Balance-USDヘッダーには、各呼び出し後に残っている残高が表示されます。

質問と回答

PythonでLLMを実装するにはGPUが必要ですか?

ホスト型APIを利用する場合は不要です。PythonコードはHTTPリクエストを送信するだけなので、どのノートパソコンでも動作します。

公式のopenaiパッケージは使えますか?

はい。base_urlにサービスURLを、api_keyにAPIキーを設定し、モデルIDにuncensoredを指定して使用してください。

非同期コードに対応していますか?

SDKのAsyncOpenAIクライアントは、同じBase URLとキーで動作します。同時実行数は8リクエスト以下に保ってください。

支払いなしで試すにはどうすればよいですか?

サインアップして、キーページで$0.50のトライアルクレジットを受け取ってください。有効期限は7日で、クレジットカードは不要です。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得