Python ile Barındırılan API Kullanarak LLM Uygulama
Çoğu proje için Python'da LLM uygulama, bir modeli eğitmek veya sunmak yerine, HTTP üzerinden barındırılan bir modele istek göndermekle ilgilidir. OpenAI-uyumlu bir API ile bu yaklaşık on satır sürer ve aynı kod akışa, JSON çıktısına ve fonksiyon çağırma özelliğine genişler.
Güncellendi

Temel noktalar
- openai paketini yükleyin, bir base URL ve anahtar ayarlayın ve uncensored model kimliğini kullanın.
- Akış, JSON modu ve fonksiyon çağırma desteklenir ve standart SDK argümanlarını kullanır.
- Sohbet geçmişini bir listede tutun ve 100,000 token penceresine dikkat edin.
- HTTP 429 ile kısa bir yeniden deneme yapın; başarısız veya reddedilen istekler ücretlendirilmez.
Barındırılan API veya kendi modeliniz
Bir dil modelini Python programına eklemenin iki yolu vardır. Ağırlıkları kendi başınıza çalıştırabilirsiniz; bu bir GPU, bir sunum yığını, nicemleme seçenekleri ve indirmeler için beklemek demektir. Ya da başkalarının zaten çalıştırdığı bir modele istek gönderebilirsiniz. İlk yol araştırma, sıkı veri izolasyonu veya çok yüksek istikrarlı hacim için mantıklıdır. İkinci neredeyse her şey için uygundur: bir betik, bir bot, bir ürün özelliği veya öğle yemeğine kadar çalışır durumda olması istenen bir prototip.
Bu kılavuz ikinci yolu izler. Hizmet, bağımsız bir sağlayıcı tarafından çalıştırılan ve yetişkinlerin yasal kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modele sahip barındırılan, OpenAI uyumlu bir metin API'sidir. Herhangi bir model satıcısının resmi bir API'si değildir. OpenAI istek biçimini takip ettiği için standart openai paketi çalışır ve bağımlılık istemiyorsanız düz requests de işe yarar.
Adım 1: yükleyin ve ilk çağrıyı yapın
SDK'yı yükleyin ve anahtarınızı bir ortam değişkeninde saklayın, böylece kaynak kodunuzda yer almaz.
pip install openai
export API_KEY="your-key-here"
Ardından hizmetin base URL'siyle bir istemci oluşturun. Herhangi bir diğer OpenAI tarzı kurulumla karşılaştırarak değiştirdiğiniz tek şeyler URL, anahtar ve model adıdır.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.fluxapikey.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain list comprehensions in two sentences."},
],
)
print(resp.choices[0].message.content)
print(resp.usage)
Bu, çalışan tam bir programdır. Arkasındaki uç nokta POST /v1/chat/completions, Authorization: Bearer <key> ile kimlik doğrulaması yapılır ve GET /v1/models model ID'sini listeler. Anahtar sayfasında bir anahtar ve küçük bir deneme kredisi alabilirsiniz.
Adım 2: cevabı akış olarak alın
Tam bir yanıt için birkaç saniye beklemek bir terminalde veya web sayfasında yavaş hissettirir. stream=True ayarlayın ve sunucu tarafından gönderilen olaylar üzerinden tokenlar geldiğinde yazdırın.
# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
Kullanım sayıları akışın sonunda gelir, bu yüzden son parça seçim içermeyebilir. Bu yüzden döngü chunk.choices'i önce kontrol eder. Unutulmaması gereken bir şey: akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar, bu yüzden her zaman sonuna kadar okuyun veya kapatın.
Adım 3: sohbeti sürdürün
Model çağrılar arasında hafızaya sahip değildir. Sohbet, her seferinde yeniden gönderdiğiniz artan bir mesaj listesidir. Küçük bir sınıf yeterlidir:
# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
def __init__(self, system):
self.messages = [{"role": "system", "content": system}]
def say(self, text):
self.messages.append({"role": "user", "content": text})
r = client.chat.completions.create(model="uncensored", messages=self.messages)
answer = r.choices[0].message.content
self.messages.append({"role": "assistant", "content": answer})
return answer
bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))
Bağlam penceresi 100,000 token'dır ve istem ile tamamlama tarafından paylaşılır. Bu geniş bir alan, ancak uzun bir sohbet her dönüşle büyür ve her istekte tüm geçmiş için ödeme yaparsınız. Büyük olduğunda, en eski dönüşleri atın veya modelden yazmasını isteyerek kısa bir özetle değiştirin.
Adım 4: yapılandırılmış çıktı alın
Programlar veri ister, paragraf değil. JSON modu yanıtı geçerli JSON yapar. İstemde hangi anahtarları beklediğinizi belirtin.
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
{"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])
Geçerli JSON, anahtarlarınızın garantisi değildir. Kodda kontrol edin ve biri eksikse bir kez yeniden deneyin.
Adım 5: modelin fonksiyonlarınızı çağırmasına izin verin
Araç çağırma, modelin programınıza bir fonksiyon çalıştırmasını istemesini, ardından sonucu kullanarak devam etmesini sağlar. Aracı tanımlayın, yanıtın bir çağrı içerip içermediğini kontrol edin, çalıştırın ve role tool ile çıktıyı geri gönderin.
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
tools = [{
"type": "function",
"function": {
"name": "get_word_count",
"description": "Count the words in a text.",
"parameters": {
"type": "object",
"properties": {"text": {"type": "string"}},
"required": ["text"],
},
},
}]
messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = len(args["text"].split())
messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
Her zaman eyleme geçmeden önce argümanları doğrulayın, çünkü model beklenmedik bir çağrı üretebilir. Araç çağrıları ayrıca tool_calls delta'ları olarak akış yapar, buna ihtiyacınız varsa. Dokümantasyon her alanı listeler.
Adım 6: limitleri ve hataları yönetin
Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir; deneme anahtarı 2 ve 60 izin verir. Sınırı aşarsanız API HTTP 429 ile yanıt verir. Hata kodu dakikada çok fazla istek için rate_limited ve aynı anda çok fazla istek için concurrency olur. Geçici aşırı yüklenme durumunda da 429 alırsınız, Retry-After: 5 başlığı ile. Küçük bir yeniden deneme sarmalayıcısı üç durumu da kapsar:
# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError
def ask(messages, tries=4):
for i in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError:
time.sleep(5 * (i + 1))
raise RuntimeError("still limited after retries")
İşleri iş parçacıklarında çalıştırıyorsanız, eşzamanlılık sınırına nadiren çarpacak şekilde onları ThreadPoolExecutor(max_workers=8) ile 8'e kadar sınırlandırın. Her yanıt X-Request-Id taşır, bu destek ile iletişime geçiyorsanız alıntılamanız gereken şeydir ve X-Balance-USD kalan kredinizi gösterir. Maksimum gövde boyutu 8 MB'dir.
Çıktıyı değiştiren ayarlar
Günlük ince ayarların çoğu, modelin kendisine geçirilen birkaç parametrede gerçekleşir.
temperaturerastgeleliği kontrol eder. Çıkarma ve sınıflandırma için 0.2 veya daha düşük, sohbet için yaklaşık 0.7 ve beyin fırtınası ve kurgu için 1.0 veya daha yüksek kullanın.top_pkelime seçimlerinin olasılıksız kuyruğunu keser. Hangisinin iş yaptığını söyleyebilmek için ya bunu ya da sıcaklığı değiştirin, ikisini birden değil.seedtekrarlı çalışmaları daha karşılaştırılabilir kılar. Bir istem değişikliğinin etkisini görmek ve gürültüyü görmemek istediğiniz testlerde kullanışlıdır.stopüretimi seçtiğiniz bir dizeyle sonlandırır, bu modelin yorum eklemeye devam ettiğinde onu kesmek için kullanışlıdır.max_tokensisteğe bağlıdır. Bu olmadan tamamlama, 100,000 token penceresinin kalanını kullanabilir. Uzunluk ve maliyet için katı bir sınır istediğinizde ayarlayın.- Frekans ve varlık cezaları tekrarlamayı caydırır, bu da döngüye girmeye başlayan uzun yaratıcı çıktılar için yardımcı olur.
Önemsediğiniz herhangi bir çıktının yanına kullandığınız ayarları yazın. Aylar sonra, "neden farklı yanıt verdi" neredeyse her zaman değişmiş bir parametre veya değişmiş bir sistem mesajıdır.
Aynı anda çok sayıda istek gönderme
Her seferinde tek bir istek gönderen bir döngü, kotanızın çoğunu boşa harcar. Tam anahtarla aynı anda 8 isteğiniz işlenebilir, bu nedenle bir iş parçacığı havuzu, uzun bir toplu isteği yaklaşık sekizde birine indirir.
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")
def summarise(text):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise in one line: " + text}],
max_tokens=60,
)
return r.choices[0].message.content
texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
for line in pool.map(summarise, texts):
print(line)
İş parçacığı sayısını en fazla 8'de, deneme anahtarında ise 2'de tutun. concurrency ile 429 yanıtları görmeye devam ederseniz, sayıyı bir veya iki azaltın. Dakikada 300 hız limiti hızlı, kısa istekler için önemlidir, bu nedenle çok sayıda küçük çağrıdan oluşan bir toplu iş eşzamanlılık sınırına ulaşmadan önce bu limite ulaşabilir.
Yaygın sorunlar ve çözümler
Çoğu ilk gün hatası kısa bir nedenler listesinden kaynaklanır.
- 401 veya kimlik doğrulama hatası. Anahtar eksik, yanlış yazılmış veya yanlış ana makineye gönderiliyor. İstemcinizin gerçekten kullandığı base URL'i yazdırın ve
/v1ile bittiğinden emin olun. - Model bulunamadı. Model ID'si
uncensoredolmalıdır. Sunucunun neleri listelediğini doğrulamak istiyorsanızGET /v1/modelsçağrısını yapın. - Boş veya kesik yanıt. Düşük bir
max_tokenscevabı cümle içinde keser. Artırın veya kaldırın. Seçimdekifinish_reasondeğerini kontrol edin:lengthsınırın aşıldığını gösterir. - Çözülemeyen JSON. Ya yanıt kesildi ya da istem, JSON yapısını hiç tanımlamadı. Önce istemi düzeltin ve ayrıştırmayı bir try bloğuna sarın.
- Yavaş ilk token. Çok uzun bir istem işlenmesi daha uzun sürer. Geçmişi kısaltın veya daha az bağlam gönderin.
- İstek çok büyük. Gövde limiti 8 MB'dir ve token penceresi 100,000'dir. Büyük belgeleri parçalara ayırın ve her birini özetleyin.
Bir şey hala yanlış görünüyorsa, başarısız girdiyle birlikte X-Request-Id başlığını günlüğe kaydedin. Bu destek'in tam isteği bulmasını sağlar.
Maliyet nedir
Ön ödemeli krediden 1M girdi token başına $0.15 ve 1M çıktı token başına $0.50 ödersiniz. 2.000 token girdisi ve 500 çıktı ile tipik bir çağrı, girdi için 0.002 x $0.15 = $0.0003 ve çıktı için 0.0005 x $0.50 = $0.00025 maliyetinde olur, toplamda $0.00055 eder. On bin böyle çağrı $5.50 eder. Başarısız veya reddedilen istekler için ücret alınmaz ve kredi hiç sona ermez. $20 ile $500 arasında bakiye yüklemeleri yapılır; bonus seviyeleri için fiyatlandırma sayfasına bakın. İstemler eğitim için kullanılmaz.
Çıktı tokenları, girdi tokenlarından daha pahalıdır; bu nedenle en ucuz alışkanlık kısa yanıtlar istemektir: iki cümle söyleyin veya yalnızca JSON kullanın ve max_tokens değerini makul bir üst sınıra ayarlayın. İstekleriniz için gerçek token sayılarını görmek için geliştirme sırasında resp.usage değerini okuyun ve bir işi ölçeklendirmeden önce yukarıdaki oranlarla çarpın. X-Balance-USD başlığı, her çağrıdan sonra ne kadar kaldığını gösterir.
Daha fazla kılavuz
Sorular ve cevaplar
Python'da bir LLM uygulamak için GPU'ya ihtiyacım var mı?
Barındırılan API ile değil. Python kodunuz yalnızca HTTP istekleri gönderir, bu nedenle herhangi bir dizüstü bilgisayar çalışır.
Resmi openai paketini kullanabilir miyim?
Evet. base_url değerini hizmet URL'sine ve api_key değerini anahtarınıza ayarlayın ve model ID olarak uncensored'ı kullanın.
Asenkron kodu destekliyor mu?
SDK'nın AsyncOpenAI istemcisi aynı base URL ve anahtar ile çalışır. Eşzamanlılığı en fazla 8 istek tutun.
Ödemeden nasıl deneyebilirim?
Kaydolun ve anahtar sayfasında $0,50 değerindeki deneme kredisi talebinde bulunun. 7 gün boyunca geçerlidir ve kart gerektirmez.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.