Cách triển khai LLM trong Python qua API được host
Với hầu hết dự án, việc triển khai LLM trong Python chỉ là gọi mô hình được host qua HTTP, không phải tự huấn luyện hay phục vụ. Với API tương thích OpenAI, bạn chỉ cần khoảng mười dòng mã, và mã đó có thể mở rộng sang truyền phát, đầu ra JSON và gọi hàm.
Cập nhật

Điểm chính
- Cài đặt gói openai, đặt base URL và khóa, rồi dùng model ID uncensored.
- Truyền phát, chế độ JSON và gọi hàm đều được hỗ trợ và dùng các đối số SDK tiêu chuẩn.
- Giữ lịch sử hội thoại trong một danh sách và theo dõi cửa sổ 100.000 token.
- Xử lý HTTP 429 bằng cách thử lại ngắn; yêu cầu thất bại hoặc bị từ chối không bị tính phí.
API được host hay mô hình riêng
Có hai cách để đưa mô hình ngôn ngữ vào chương trình Python. Bạn có thể chạy trọng số riêng, nghĩa là cần GPU, bộ phục vụ, lựa chọn lượng hóa và chờ tải xuống lâu. Hoặc bạn có thể gửi yêu cầu đến mô hình do nhà cung cấp khác chạy. Cách đầu phù hợp cho nghiên cứu, cách ly dữ liệu nghiêm ngặt hoặc khối lượng ổn định rất cao. Cách thứ hai phù hợp với hầu hết các trường hợp khác: tập lệnh, bot, tính năng sản phẩm, nguyên mẫu bạn muốn chạy xong trước bữa trưa.
Hướng dẫn này chọn cách thứ hai. Dịch vụ ở đây là API văn bản được host, tương thích OpenAI với một mô hình trọng số mở, do nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho người lớn hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Vì dịch vụ tuân theo định dạng yêu cầu của OpenAI, gói openai tiêu chuẩn hoạt động, và cả requests thuần nếu bạn muốn không phụ thuộc.
Bước 1: cài đặt và gọi API lần đầu
Cài đặt SDK và lưu khóa của bạn trong biến môi trường để khóa không bao giờ xuất hiện trong mã nguồn của bạn.
pip install openai
export API_KEY="your-key-here"
Sau đó tạo client với base URL của dịch vụ. Những thứ bạn thay đổi so với bất kỳ thiết lập kiểu OpenAI nào khác chỉ là URL, khóa và tên mô hình.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.fluxapikey.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain list comprehensions in two sentences."},
],
)
print(resp.choices[0].message.content)
print(resp.usage)
Đó là một chương trình hoạt động hoàn chỉnh. Endpoint phía sau là POST /v1/chat/completions, xác thực bằng Authorization: Bearer <key>, và GET /v1/models liệt kê model ID. Bạn có thể lấy khóa và tín dụng dùng thử nhỏ trên trang khóa.
Bước 2: truyền phát câu trả lời
Chờ vài giây cho một câu trả lời đầy đủ cảm thấy chậm trong terminal hoặc trang web. Đặt stream=True và in token khi chúng đến qua server-sent events.
# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print()
Số liệu sử dụng xuất hiện ở cuối luồng, nên chunk cuối có thể không có choices. Đó là lý do vòng lặp kiểm tra chunk.choices trước. Một điều cần nhớ: một yêu cầu truyền phát giữ slot độ đồng thời của nó cho đến khi luồng kết thúc, nên luôn đọc hết luồng hoặc đóng nó.
Bước 3: duy trì hội thoại
Mô hình không có bộ nhớ giữa các lần gọi. Một cuộc trò chuyện chỉ là một danh sách tin nhắn ngày càng lớn mà bạn gửi lại mỗi lần. Một lớp nhỏ là đủ:
# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
def __init__(self, system):
self.messages = [{"role": "system", "content": system}]
def say(self, text):
self.messages.append({"role": "user", "content": text})
r = client.chat.completions.create(model="uncensored", messages=self.messages)
answer = r.choices[0].message.content
self.messages.append({"role": "assistant", "content": answer})
return answer
bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))
Cửa sổ ngữ cảnh là 100.000 token, dùng chung cho prompt và completion. Điều này khá rộng rãi, nhưng một cuộc hội thoại dài sẽ phát triển qua mỗi lượt, và bạn trả phí cho toàn bộ lịch sử trong mỗi yêu cầu. Khi nó trở nên lớn, hãy loại bỏ các lượt cũ nhất hoặc thay thế chúng bằng một bản tóm tắt ngắn mà bạn yêu cầu mô hình viết.
Bước 4: lấy đầu ra có cấu trúc
Chương trình muốn dữ liệu, không phải đoạn văn. Chế độ JSON làm cho phản hồi là JSON hợp lệ. Hãy nói trong prompt các khóa bạn mong đợi.
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
{"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])
JSON hợp lệ không đảm bảo các khóa của bạn. Hãy kiểm tra chúng trong mã và thử lại một lần nếu một khóa bị thiếu.
Bước 5: để mô hình gọi hàm của bạn
Gọi hàm cho phép mô hình yêu cầu chương trình của bạn chạy một hàm, sau đó tiếp tục với kết quả. Bạn mô tả công cụ, kiểm tra xem phản hồi có chứa lệnh gọi không, chạy nó và gửi đầu ra lại với role tool.
# client from step 1: base_url https://api.fluxapikey.com/v1
import json
tools = [{
"type": "function",
"function": {
"name": "get_word_count",
"description": "Count the words in a text.",
"parameters": {
"type": "object",
"properties": {"text": {"type": "string"}},
"required": ["text"],
},
},
}]
messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = len(args["text"].split())
messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
Luôn xác thực các đối số trước khi hành động, vì mô hình có thể tạo ra một lệnh gọi bạn không mong đợi. Lệnh gọi công cụ cũng truyền phát, dưới dạng delta tool_calls, nếu bạn cần điều đó. Tài liệu liệt kê mọi trường.
Bước 6: xử lý giới hạn và lỗi
Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút; khóa dùng thử cho phép 2 và 60. Vượt quá và API trả về HTTP 429. Mã lỗi là rate_limited cho quá nhiều yêu cầu mỗi phút và concurrency cho quá nhiều cùng lúc. Khi quá tải tạm thời, bạn cũng nhận được 429, với tiêu đề Retry-After: 5. Một bộ bao bọc thử lại nhỏ bao gồm cả ba trường hợp:
# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError
def ask(messages, tries=4):
for i in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError:
time.sleep(5 * (i + 1))
raise RuntimeError("still limited after retries")
Nếu bạn chạy công việc trong các luồng, hãy giới hạn chúng ở mức 8 với ThreadPoolExecutor(max_workers=8) để hiếm khi chạm giới hạn độ đồng thời. Mỗi phản hồi mang X-Request-Id, đây là thứ bạn nên trích dẫn khi liên hệ hỗ trợ, và X-Balance-USD hiển thị tín dụng còn lại của bạn. Kích thước body tối đa là 8 MB.
Các cài đặt thay đổi đầu ra
Phần lớn việc tinh chỉnh hàng ngày diễn ra với một vài tham số, tất cả đều được chuyển tiếp đến mô hình.
temperaturekiểm soát tính ngẫu nhiên. Dùng 0.2 hoặc thấp hơn cho trích xuất và phân loại, khoảng 0.7 cho trò chuyện, và 1.0 hoặc cao hơn cho brainstorming và viết truyện hư cấu.top_pcắt đuôi ít khả năng của các lựa chọn từ. Chỉ thay đổi top_p hoặc temperature, không đổi cả hai cùng lúc, để bạn biết cái nào đã thực hiện công việc.seedlàm cho các lần chạy lặp lại dễ so sánh hơn. Nó hữu ích trong các bài kiểm tra nơi bạn muốn thấy tác động của việc thay đổi prompt và không phải nhiễu.stopkết thúc quá trình tạo tại một chuỗi bạn chọn, điều này hữu ích để cắt ngắn mô hình liên tục thêm bình luận.max_tokenslà tùy chọn. Không có nó, completion có thể dùng bất kỳ phần nào còn lại của cửa sổ 100.000 token. Đặt nó khi bạn muốn giới hạn cứng về độ dài và chi phí.- Các hình phạt tần suất và hiện diện ngăn chặn sự lặp lại, giúp ích cho đầu ra sáng tạo dài bắt đầu lặp lại.
Hãy ghi lại các cài đặt bạn đã dùng bên cạnh bất kỳ đầu ra nào bạn quan tâm. Nhiều tháng sau, "tại sao nó trả lời khác đi" gần như luôn là do tham số thay đổi hoặc thông báo hệ thống thay đổi.
Chạy nhiều yêu cầu đồng thời
Một vòng lặp gửi từng yêu cầu một lãng phí phần lớn hạn mức của bạn. Với khóa đầy đủ, bạn có thể có 8 yêu cầu chạy cùng lúc, nên một nhóm luồng rút ngắn một lô dài xuống còn khoảng một phần tám thời gian thực tế.
from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI
client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")
def summarise(text):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise in one line: " + text}],
max_tokens=60,
)
return r.choices[0].message.content
texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
for line in pool.map(summarise, texts):
print(line)
Giữ số lượng worker ở mức 8 trở xuống, hoặc ở mức 2 trên khóa dùng thử. Nếu bạn vẫn thấy phản hồi 429 với mã concurrency, hãy giảm số lượng đi một hoặc hai. Giới hạn 300 mỗi phút quan trọng đối với các yêu cầu nhanh, ngắn, nên một lô các lệnh gọi nhỏ có thể đạt giới hạn đó trước giới hạn độ đồng thời.
Các vấn đề phổ biến và cách khắc phục
Hầu hết các lỗi ngày đầu tiên đến từ một danh sách ngắn các nguyên nhân.
- Lỗi 401 hoặc lỗi xác thực. Khóa bị thiếu, nhập sai hoặc gửi đến máy chủ sai. In ra base URL mà client của bạn thực sự dùng và đảm bảo nó kết thúc bằng
/v1. - Không tìm thấy mô hình. Model ID phải là
uncensored. GọiGET /v1/modelsnếu bạn muốn xác nhận những gì máy chủ liệt kê. - Phản hồi trống hoặc bị cắt. Một
max_tokensthấp sẽ dừng câu trả lời giữa chừng. Hãy tăng giá trị này hoặc bỏ tham số đi. Kiểm trafinish_reasontrên lựa chọn:lengthcó nghĩa là đã đạt giới hạn. - JSON không thể phân tích cú pháp. Hoặc phản hồi bị cắt ngắn, hoặc prompt chưa bao giờ mô tả cấu trúc. Sửa prompt trước và bao bọc việc phân tích cú pháp trong một khối try.
- Token đầu tiên chậm. Một prompt rất dài mất nhiều thời gian hơn để xử lý. Cắt ngắn lịch sử hoặc gửi ít ngữ cảnh hơn.
- Yêu cầu quá lớn. Giới hạn body là 8 MB, và cửa sổ token là 100.000. Chia tài liệu lớn thành các phần và tóm tắt từng phần.
Khi thứ gì đó vẫn có vẻ sai, hãy ghi lại tiêu đề X-Request-Id với đầu vào bị lỗi. Nó cho phép hỗ trợ tìm chính xác yêu cầu đó.
Chi phí của bạn
Bạn trả $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra từ tín dụng trả trước. Một lệnh gọi điển hình với 2.000 token đầu vào và 500 token đầu ra tốn 0.002 x $0.15 = $0.0003 cho đầu vào cộng 0.0005 x $0.50 = $0.00025 cho đầu ra, tổng cộng $0.00055. Mười nghìn lệnh gọi như vậy tốn $5.50. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tín dụng không bao giờ hết hạn. Nạp tiền từ $20 đến $500; xem giá cả để biết các bậc thưởng. Prompt không được dùng để huấn luyện.
Token đầu ra có giá cao hơn token đầu vào, nên thói quen tiết kiệm nhất là yêu cầu câu trả lời ngắn: nói hai câu, hoặc chỉ JSON, và đặt max_tokens ở mức trần hợp lý. Đọc resp.usage trong quá trình phát triển để xem số token thực tế cho các prompt của bạn, và nhân với các tỷ lệ ở trên trước khi mở rộng quy mô một công việc. Tiêu đề X-Balance-USD cho biết số tiền còn lại sau mỗi lần gọi.
Hướng dẫn khác
Hỏi đáp
Tôi có cần GPU để triển khai LLM trong Python không?
Không cần với API được host. Mã Python của bạn chỉ gửi các yêu cầu HTTP, vì vậy bất kỳ máy tính xách tay nào cũng hoạt động được.
Tôi có thể sử dụng gói openai chính thức không?
Có. Đặt base_url thành URL dịch vụ và api_key thành khóa của bạn, sau đó sử dụng model ID uncensored.
Nó có hỗ trợ mã không đồng bộ không?
Client AsyncOpenAI của SDK hoạt động với base URL và khóa tương tự. Hãy giữ mức độ đồng thời ở mức 8 yêu cầu trở xuống.
Làm thế nào để tôi dùng thử mà không phải trả phí?
Đăng ký và nhận tín dụng dùng thử $0.50 trên trang khóa. Nó có giá trị trong 7 ngày và không cần thẻ.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.