ID ▾
Dapatkan kunci API

Cara Mengimplementasikan LLM di Python dengan API Terhost

Untuk sebagian besar proyek, cara mengimplementasikan LLM di Python hanyalah memanggil model terhost melalui HTTP, bukan melatih atau melayani sendiri. Dengan API yang kompatibel dengan OpenAI, hal ini membutuhkan sekitar sepuluh baris kode, dan kode yang sama dapat berkembang menjadi streaming, output JSON, dan pemanggilan alat.

Diperbarui

Terminal yang mengirimkan balok ke server cloud dan menerima kubus data, mengilustrasikan panggilan Python ke LLM terhost

Poin utama

  • Instal paket openai, atur base URL dan kunci, lalu gunakan model ID uncensored.
  • Streaming, mode JSON, dan pemanggilan alat semuanya didukung dan menggunakan argumen SDK standar.
  • Simpan riwayat obrolan dalam daftar dan perhatikan jendela 100.000 token.
  • Tangani HTTP 429 dengan percobaan ulang singkat; permintaan yang gagal atau ditolak tidak dikenakan biaya.

API Terhost atau model Anda sendiri

Ada dua cara untuk memasukkan model bahasa ke dalam program Python. Anda dapat menjalankan bobot sendiri, yang berarti memerlukan GPU, tumpukan penyajian, pilihan kuantisasi, dan banyak waktu tunggu untuk unduhan. Atau Anda dapat mengirim permintaan ke model yang sudah dijalankan oleh orang lain. Jalur pertama masuk akal untuk penelitian, isolasi data yang ketat, atau volume tinggi yang stabil. Jalur kedua cocok untuk hampir semua hal lainnya: skrip, bot, fitur produk, atau prototipe yang ingin Anda selesaikan sebelum makan siang.

Panduan ini mengambil jalur kedua. Layanan di sini adalah API teks terhost yang kompatibel dengan OpenAI dengan satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun. Karena mengikuti format permintaan OpenAI, paket openai standar berfungsi, begitu juga dengan requests murni jika Anda lebih memilih tanpa dependensi.

Langkah 1: instal dan buat panggilan pertama

Instal SDK dan simpan kunci Anda dalam variabel lingkungan, agar tidak pernah masuk ke kode sumber Anda.

pip install openai
export API_KEY="your-key-here"

Kemudian buat klien dengan base URL layanan. Satu-satunya hal yang Anda ubah dibandingkan dengan pengaturan gaya OpenAI lainnya adalah URL, kunci, dan nama model.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.fluxapikey.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain list comprehensions in two sentences."},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage)

Itu adalah program lengkap yang berfungsi. Endpoint di baliknya adalah POST /v1/chat/completions, diautentikasi dengan Authorization: Bearer <key>, dan GET /v1/models mencantumkan ID model. Anda dapat mendapatkan kunci dan kredit uji coba kecil di halaman kunci.

Langkah 2: alirkan jawaban

Menunggu beberapa detik untuk jawaban lengkap terasa lambat di terminal atau halaman web. Atur stream=True dan cetak token saat tiba melalui server-sent events.

# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

Angka penggunaan tiba di akhir aliran, sehingga potongan terakhir mungkin tidak memiliki pilihan. Itulah mengapa loop memeriksa chunk.choices terlebih dahulu. Satu hal yang perlu diingat: permintaan yang dialirkan menjaga slot konkurensinya hingga aliran berakhir, jadi selalu baca hingga akhir atau tutup.

Langkah 3: jaga percakapan

Model tidak memiliki memori antar panggilan. Obrolan hanyalah daftar pesan yang tumbuh yang Anda kirim ulang setiap kali. Kelas kecil sudah cukup:

# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
    def __init__(self, system):
        self.messages = [{"role": "system", "content": system}]

    def say(self, text):
        self.messages.append({"role": "user", "content": text})
        r = client.chat.completions.create(model="uncensored", messages=self.messages)
        answer = r.choices[0].message.content
        self.messages.append({"role": "assistant", "content": answer})
        return answer

bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))

Jendela konteks adalah 100.000 token, yang dipakai bersama oleh prompt dan completion. Itu cukup luas, tetapi obrolan panjang tumbuh setiap giliran, dan Anda membayar untuk seluruh riwayat pada setiap permintaan. Ketika menjadi besar, hapus giliran tertua atau ganti dengan ringkasan singkat yang Anda minta model untuk tulis.

Langkah 4: dapatkan output terstruktur

Program menginginkan data, bukan paragraf. Mode JSON membuat jawaban valid JSON. Sebutkan dalam prompt kunci mana yang Anda harapkan.

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
        {"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
    ],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])

JSON valid tidak menjamin kunci Anda. Periksa di kode dan coba lagi sekali jika ada yang hilang.

Langkah 5: biarkan model memanggil fungsi Anda

Pemanggilan alat memungkinkan model meminta program Anda menjalankan fungsi, lalu melanjutkan dengan hasilnya. Anda mendeskripsikan alat, memeriksa apakah jawaban berisi panggilan, menjalankannya, dan mengirimkan output kembali dengan role tool.

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_word_count",
        "description": "Count the words in a text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = len(args["text"].split())
        messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

Selalu validasi argumen sebelum bertindak, karena model dapat menghasilkan panggilan yang tidak Anda harapkan. Pemanggilan alat juga dialirkan, sebagai delta tool_calls, jika Anda membutuhkannya. Dokumentasi mencantumkan setiap bidang.

Langkah 6: tangani batas dan kesalahan

Kunci penuh memungkinkan 8 permintaan konkuren dan 300 per menit; kunci uji coba memungkinkan 2 dan 60. Lewati batas dan API menjawab HTTP 429. Kode kesalahan adalah rate_limited untuk terlalu banyak permintaan per menit dan concurrency untuk terlalu banyak sekaligus. Pada kelebihan beban sementara, Anda juga mendapatkan 429, dengan header Retry-After: 5. Pembungkus percobaan ulang kecil mencakup ketiganya:

# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError

def ask(messages, tries=4):
    for i in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (i + 1))
    raise RuntimeError("still limited after retries")

Jika Anda menjalankan pekerjaan dalam utas, batasi hingga 8 dengan ThreadPoolExecutor(max_workers=8) agar Anda jarang mencapai batas konkurensi. Setiap respons membawa X-Request-Id, yang merupakan yang harus dikutip jika Anda menghubungi dukungan, dan X-Balance-USD menunjukkan sisa kredit Anda. Ukuran body maksimum adalah 8 MB.

Pengaturan yang mengubah output

Sebagian besar penyetelan sehari-hari terjadi dalam sejumlah kecil parameter, yang semuanya diteruskan ke model.

  • temperature mengendalikan keacakan. Gunakan 0,2 atau lebih rendah untuk ekstraksi dan klasifikasi, sekitar 0,7 untuk obrolan, dan 1,0 atau lebih untuk brainstorming dan fiksi.
  • top_p memangkas ekor pilihan kata yang tidak mungkin. Ubah salah satunya atau suhu, bukan keduanya sekaligus, agar Anda dapat mengetahui mana yang melakukan pekerjaan.
  • seed membuat jalankan ulang lebih dapat dibandingkan. Ini berguna dalam pengujian di mana Anda ingin melihat efek perubahan prompt dan bukan noise.
  • stop menghentikan pembuatan teks pada string yang Anda pilih, yang berguna untuk memotong model yang terus menambahkan komentar.
  • max_tokens adalah opsional. Tanpanya, penyelesaian mungkin menggunakan apa pun yang tersisa dari jendela 100.000 token. Tetapkan ketika Anda ingin batas keras pada panjang dan biaya.
  • Penalti frekuensi dan kehadiran mencegah pengulangan, yang membantu dengan output kreatif panjang yang mulai berulang.

Tulis pengaturan yang Anda gunakan di samping output apa pun yang penting bagi Anda. Berbulan-bulan kemudian, "mengapa menjawabnya berbeda" hampir selalu merupakan parameter yang berubah atau pesan sistem yang berubah.

Menjalankan banyak permintaan sekaligus

Loop yang mengirim satu permintaan pada satu waktu membuang sebagian besar kuota Anda. Dengan kunci penuh, Anda dapat memiliki 8 permintaan sekaligus, sehingga thread pool memangkas waktu proses batch panjang menjadi sekitar seperdelapan.

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")

def summarise(text):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarise in one line: " + text}],
        max_tokens=60,
    )
    return r.choices[0].message.content

texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
    for line in pool.map(summarise, texts):
        print(line)

Jaga jumlah worker maksimal 8, atau 2 pada kunci uji coba. Jika Anda masih melihat respons 429 dengan kode concurrency, turunkan jumlahnya satu atau dua. Batas 300 per menit penting untuk permintaan cepat dan pendek, sehingga batch panggilan kecil dapat mencapainya sebelum batas konkurensi.

Masalah umum dan perbaikan

Sebagian besar kesalahan hari pertama berasal dari daftar singkat penyebab.

  • 401 atau kesalahan autentikasi. Kunci hilang, salah ketik, atau dikirim ke host yang salah. Cetak base URL yang sebenarnya digunakan klien Anda dan pastikan berakhir dengan /v1.
  • Model tidak ditemukan. ID model harus uncensored. Panggil GET /v1/models jika Anda ingin mengkonfirmasi apa yang terdaftar server.
  • Jawaban kosong atau terpotong. max_tokens yang rendah menghentikan jawaban di tengah kalimat. Naikkan atau hapus. Periksa finish_reason pada pilihan: length berarti batas tercapai.
  • JSON yang tidak dapat diuraikan. Entah jawabannya terpotong, atau prompt tidak pernah menggambarkan bentuknya. Perbaiki prompt terlebih dahulu dan bungkus parsing dalam blok try.
  • Token pertama lambat. Prompt yang sangat panjang membutuhkan waktu lebih lama untuk diproses. Potong riwayat atau kirim konteks lebih sedikit.
  • Permintaan terlalu besar. Batas ukuran body adalah 8 MB, dan jendela token adalah 100.000. Pisahkan dokumen besar menjadi bagian dan ringkas setiap bagian.

Ketika sesuatu masih terlihat salah, log header X-Request-Id dengan input yang gagal. Ini memungkinkan dukungan menemukan permintaan yang tepat.

Biaya yang dikeluarkan

Anda membayar $0,15 per 1M token input dan $0,50 per 1M token output dari saldo prabayar. Panggilan khas dengan 2.000 token masuk dan 500 keluar berberbiaya 0,002 x $0,15 = $0,0003 untuk input ditambah 0,0005 x $0,50 = $0,00025 untuk output, sehingga $0,00055 secara total. Sepuluh ribu panggilan seperti itu berbiaya $5,50. Permintaan yang gagal atau ditolak tidak dikenakan biaya dan saldo tidak pernah kedaluwarsa. Top-up mulai dari $20 hingga $500; lihat harga untuk tingkat bonus. Prompt tidak digunakan untuk pelatihan.

Token output lebih mahal daripada token input, sehingga kebiasaan termurah adalah meminta jawaban singkat: sebutkan dua kalimat, atau hanya JSON, dan atur max_tokens ke batas atas yang wajar. Baca resp.usage selama pengembangan untuk melihat jumlah token nyata untuk prompt Anda, dan kalikan dengan tarif di atas sebelum Anda meningkatkan skala pekerjaan. Header X-Balance-USD menunjukkan sisa saldo setelah setiap panggilan.

Tanya jawab

Apakah saya memerlukan GPU untuk mengimplementasikan LLM dalam Python?

Tidak dengan API yang di-hosting. Kode Python Anda hanya mengirim permintaan HTTP, sehingga laptop apa pun dapat digunakan.

Apakah saya dapat menggunakan paket openai resmi?

Ya. Atur base_url ke URL layanan dan api_key ke kunci Anda, lalu gunakan ID model uncensored.

Apakah ini mendukung kode asinkron?

Klien AsyncOpenAI dari SDK ini bekerja dengan base URL dan kunci yang sama. Pertahankan konkurensi hingga 8 permintaan.

Bagaimana cara mencobanya tanpa membayar?

Daftar dan klaim kredit uji coba senilai $0,50 di halaman kunci. Kredit ini berlaku selama 7 hari dan tidak memerlukan kartu.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah base URL. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API