KO ▾
API 키 받기

호스팅 API로 Python에서 LLM 구현하기

대부분의 프로젝트에서 Python에서 LLM을 구현하는 것은 직접 학습하거나 서빙하는 것이 아니라 HTTP를 통해 호스팅된 모델을 호출하는 것입니다. OpenAI 호환 API를 사용하면 약 10줄로 끝내며, 동일한 코드는 스트리밍, JSON 출력 및 함수 호출로 확장됩니다.

업데이트됨

클라우드 서버로 빔을 보내고 데이터 큐브를 수신하는 터미널, 호스팅 LLM에 대한 Python 호출을 나타냄

주요 포인트

  • openai 패키지를 설치하고 base URL과 키를 설정한 후, 모델 ID uncensored를 사용하십시오.
  • 스트리밍, JSON 모드 및 함수 호출은 모두 지원되며 표준 SDK 인수를 사용합니다.
  • 채팅 기록을 리스트에 보관하고 100,000 토큰 컨텍스트 창을 확인하십시오.
  • 짧은 재시도로 HTTP 429를 처리하십시오. 실패하거나 거부된 요청에는 요금이 부과되지 않습니다.

호스팅 API 또는 자체 모델

언어 모델을 Python 프로그램에 통합하는 방법은 두 가지가 있습니다. 가중치를 직접 실행하는 방법(이 경우 GPU, 서빙 스택, 양자화 선택 및 다운로드 대기 시간이 필요함)이 있거나, 이미 실행 중인 모델에 요청을 보내는 방법이 있습니다. 첫 번째 경로는 연구, 엄격한 데이터 격리 또는 매우 높은 일정 용량에 적합합니다. 두 번째 경로는 스크립트, 봇, 제품 기능, 점심 전에 작동하기를 원하는 프로토타입 등 거의 모든 경우에 적합합니다.

이 가이드는 두 번째 경로를 따릅니다. 여기서 서비스는 독립적인 제공자가 실행하고 합법적인 성인 사용에 대한 콘텐츠 거부 없이 답변하도록 조정된 호스팅 OpenAI 호환 텍스트 API이며 하나의 오픈 웨이트 모델을 사용합니다. 이는 어떤 모델 벤더의 공식 API도 아닙니다. OpenAI 요청 형식을 따르기 때문에 표준 openai 패키지가 작동하며, 의존성 없이 단순한 requests도 사용할 수 있습니다.

단계 1: 설치 및 첫 호출

SDK를 설치하고 키를 환경 변수에 저장하여 소스 코드에 남지 않도록 하십시오.

pip install openai
export API_KEY="your-key-here"

그런 다음 서비스의 base URL로 클라이언트를 생성하십시오. 다른 모든 OpenAI 스타일 설정과 비교하여 변경해야 하는 유일한 항목은 URL, 키 및 모델 이름입니다.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.fluxapikey.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain list comprehensions in two sentences."},
    ],
)
print(resp.choices[0].message.content)
print(resp.usage)

완전한 동작 프로그램입니다. 이 프로그램의 엔드포인트는 POST /v1/chat/completions이며, Authorization: Bearer <key>로 인증합니다. GET /v1/models은 모델 ID를 나열합니다. 키 페이지에서 키와 소량의 체험 크레딧을 받을 수 있습니다.

단계 2: 답변 스트리밍

터미널이나 웹 페이지에서 전체 응답을 기다리는 것은 느리게 느껴질 수 있습니다. stream=True를 설정하고 서버 전송 이벤트를 통해 토큰이 도착할 때마다 출력하세요.

# client from step 1: base_url https://api.fluxapikey.com/v1
stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse keeper."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

사용량 숫자는 스트림의 끝에 도착하므로 마지막 청크에는 선택지가 없을 수 있습니다. 이것이 루프가 chunk.choices를 먼저 확인하는 이유입니다. 기억해야 할 한 가지: 스트리밍 요청은 스트림이 끝날 때까지 동시성 슬롯을 유지하므로 항상 끝까지 읽거나 닫으십시오.

단계 3: 대화 유지

모델은 호출 간에 기억을 유지하지 않습니다. 채팅은 매번 다시 보내는 메시지 리스트일 뿐입니다. 작은 클래스면 충분합니다:

# client from step 1: base_url https://api.fluxapikey.com/v1
class Chat:
    def __init__(self, system):
        self.messages = [{"role": "system", "content": system}]

    def say(self, text):
        self.messages.append({"role": "user", "content": text})
        r = client.chat.completions.create(model="uncensored", messages=self.messages)
        answer = r.choices[0].message.content
        self.messages.append({"role": "assistant", "content": answer})
        return answer

bot = Chat("You are a patient Python tutor.")
print(bot.say("What is a generator?"))
print(bot.say("Show me one with yield."))

컨텍스트 창은 100,000 토큰이며 프롬프트와 completion에서 공유됩니다. 이는 여유롭지만 긴 채팅은 매 턴마다 커지며 각 요청에 전체 기록에 대해 비용을 지불합니다. 크기가 커지면 가장 오래된 턴을 삭제하거나 모델에게 작성하도록 요청한 짧은 요약으로 대체하십시오.

단계 4: 구조화된 출력 얻기

프로그램은 단락이 아닌 데이터를 원합니다. JSON 모드는 응답이 유효한 JSON이 되도록 합니다. 프롬프트에서 기대하는 키를 명시하십시오.

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": 'Return JSON like {"title": str, "tags": [str]}.'},
        {"role": "user", "content": "Summarise: a tutorial on async IO in Python."},
    ],
)
data = json.loads(r.choices[0].message.content)
print(data["title"], data["tags"])

유효한 JSON이 키를 보장하지는 않습니다. 코드에서 키를 확인하고 누락된 경우 한 번 더 재시도하십시오.

단계 5: 모델이 함수 호출하도록 하기

함수 호출은 모델이 프로그램에 함수를 실행하도록 요청한 후 결과를 계속 처리할 수 있게 합니다. 도구를 설명하고 응답에 호출이 포함되어 있는지 확인한 후 실행하고 role tool로 출력을 다시 보내십시오.

# client from step 1: base_url https://api.fluxapikey.com/v1
import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_word_count",
        "description": "Count the words in a text.",
        "parameters": {
            "type": "object",
            "properties": {"text": {"type": "string"}},
            "required": ["text"],
        },
    },
}]

messages = [{"role": "user", "content": "How many words are in: the quick brown fox?"}]
r = client.chat.completions.create(model="uncensored", messages=messages, tools=tools, tool_choice="auto")
msg = r.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = len(args["text"].split())
        messages.append({"role": "tool", "tool_call_id": call.id, "content": str(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

모델이 예상치 못한 호출을 생성할 수 있으므로 실행하기 전에 인수를 항상 검증하십시오. 함수 호출도 tool_calls 델타로 스트리밍될 수 있으므로 필요할 경우 사용하십시오. 문서에는 모든 필드가 나열되어 있습니다.

단계 6: 제한 및 오류 처리

전체 키는 동시 요청 8개와 분당 300개의 요청을 허용하며, 체험 키는 각각 2개와 60개를 허용합니다. 한도를 초과하면 API가 HTTP 429를 반환합니다. 분당 요청 수가 많으면 오류 코드는 rate_limited이고, 동시 요청 수가 많으면 concurrency입니다. 일시적 과부하 시에도 429가 반환되며, Retry-After: 5 헤더가 포함됩니다. 작은 재시도 래퍼는 이 세 가지 경우를 모두 처리합니다:

# client from step 1: base_url https://api.fluxapikey.com/v1
import time
from openai import RateLimitError

def ask(messages, tries=4):
    for i in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError:
            time.sleep(5 * (i + 1))
    raise RuntimeError("still limited after retries")

스레드에서 작업을 실행하는 경우 ThreadPoolExecutor(max_workers=8)로 스레드 수를 8로 제한하여 동시성 제한에 도달하지 않도록 하십시오. 각 응답에는 X-Request-Id이 포함되어 있으며, 이는 지원에 문의할 때 인용해야 하는 값입니다. X-Balance-USD은 남은 크레딧을 보여줍니다. 최대 본문 크기는 8 MB입니다.

출력에 영향을 주는 설정

일상적인 조정의 대부분은 모델에 전달되는 몇 가지 매개변수에서 이루어집니다.

  • temperature은 무작위성을 제어합니다. 추출 및 분류에는 0.2 또는 그 이하를, 채팅에는 약 0.7을, 브레인스토밍 및 소설에는 1.0 이상을 사용하십시오.
  • top_p는 가능성이 낮은 단어 선택의 꼬리 부분을 잘라냅니다. 이 값이나 temperature 중 하나만 변경하고 둘을 동시에 바꾸지 마십시오. 그래야 어느 쪽이 효과를 냈는지 알 수 있습니다.
  • seed은 반복 실행을 더 비교 가능하게 만듭니다. 프롬프트 변경의 효과를 보고자 하는 테스트에 유용합니다.
  • stop은 선택한 문자열에서 생성을 종료하며, 계속 설명을 추가하는 모델을 잘라내는 데 유용합니다.
  • max_tokens은 선택 사항입니다. 이를 설정하지 않으면 completion은 100,000 토큰 창에 남은 것을 모두 사용할 수 있습니다. 길이와 비용에 대한 엄격한 상한이 필요할 때 설정하십시오.
  • 빈도 및 존재 패널티는 반복을 억제하며, 반복에 빠지기 시작하는 긴 창의적 출력에 도움이 됩니다.

중요한 출력 옆에 사용한 설정을 기록하십시오. 몇 달 후 "왜 다르게 답변했는가"는 거의 항상 변경된 매개변수 또는 변경된 시스템 메시지 때문입니다.

동시 요청 실행

한 번에 하나의 요청을 보내는 루프는 허용량의 대부분을 낭비합니다. 전체 키를 사용하면 8개의 요청을 동시에 보낼 수 있으므로 스레드 풀을 사용하면 긴 배치 시간이 약 1/8로 줄어듭니다.

from concurrent.futures import ThreadPoolExecutor
from openai import OpenAI

client = OpenAI(base_url="https://api.fluxapikey.com/v1", api_key="YOUR_KEY")

def summarise(text):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarise in one line: " + text}],
        max_tokens=60,
    )
    return r.choices[0].message.content

texts = ["first document", "second document", "third document"]
with ThreadPoolExecutor(max_workers=8) as pool:
    for line in pool.map(summarise, texts):
        print(line)

작업자 수는 8 이하로 유지하거나 체험 키의 경우 2로 유지합니다. 여전히 코드 concurrency와 함께 429 응답을 본다면, 값을 1~2 줄이세요. 분당 300회 제한은 빠르고 짧은 요청에 적용되므로, 작은 호출 모음은 동시성 제한에 도달하기 전에 이 제한에 도달할 수 있습니다.

일반적인 문제 및 해결 방법

대부분의 첫날 오류는 소수의 원인으로 발생합니다.

  • 401 또는 인증 오류. 키가 누락되었거나 오타가 있거나 잘못된 호스트로 전송되었습니다. 클라이언트가 실제로 사용하는 base URL을 출력하고 /v1로 끝나는지 확인하십시오.
  • 모델을 찾을 수 없음. 모델 ID는 uncensored여야 합니다. 서버가 나열한 내용을 확인하려면 GET /v1/models를 호출하십시오.
  • 빈 응답 또는 잘린 응답. 낮은 max_tokens 설정은 문장 중간에 답변을 중단시킵니다. 값을 높이거나 제거합니다. 선택지에서 finish_reason을 확인합니다: length은 한도에 도달했음을 의미합니다.
  • 구문 분석되지 않는 JSON. 응답이 잘렸거나 프롬프트가 모양을 설명하지 않았습니다. 프롬프트를 먼저 수정하고 파싱을 try 블록으로 감싸십시오.
  • 첫 번째 토큰 지연. 매우 긴 프롬프트는 처리하는 데 더 오래 걸립니다. 기록을 줄이거나 컨텍스트를 적게 보냅니다.
  • 요청이 너무 큼. 본문 제한은 8 MB이고 토큰 창은 100,000입니다. 큰 문서를 조각으로 나누고 각각을 요약하십시오.

무언가가 여전히 잘못 보이는 경우 실패한 입력과 함께 X-Request-Id 헤더를 로그에 기록하십시오. 이는 지원이 정확한 요청을 찾을 수 있게 합니다.

비용 구조

선불 크레딧에서 1M 입력 토큰당 $0.15, 1M 출력 토큰당 $0.50을 지불합니다. 입력 2,000 토큰, 출력 500 토큰의 일반적인 호출은 입력에 대해 0.002 x $0.15 = $0.0003, 출력에 대해 0.0005 x $0.50 = $0.00025이므로 총 $0.00055가 듭니다. 10,000개의 이러한 호출에는 $5.50이 듭니다. 실패하거나 거부된 요청에는 요금이 부과되지 않으며 크레딧은 만료되지 않습니다. 충전은 $20부터 $500까지 가능합니다. 보너스 등급은 가격 책정을 참조하십시오. 프롬프트는 학습에 사용되지 않습니다.

출력 토큰은 입력 토큰보다 비용이 더 높으므로, 가장 저렴한 사용 습관은 짧은 답변을 요청하는 것입니다. 두 문장 정도로 답하거나 JSON 형식만 요청하고, max_tokens을 적절한 상한선으로 설정하세요. 개발 중에는 resp.usage를 확인하여 프롬프트의 실제 토큰 수를 확인하고, 작업을 확장하기 전에 위의 단가에 곱해 보세요. X-Balance-USD 헤더는 각 호출 후 남은 잔액을 보여줍니다.

질문과 답변

Python에서 LLM을 구현하려면 GPU가 필요한가요?

호스팅된 API를 사용한다면 필요 없습니다. Python 코드는 HTTP 요청만 보내므로 어떤 노트북에서도 작동합니다.

공식 openai 패키지를 사용할 수 있나요?

네. base_url을 서비스 URL로, api_key를 API 키로 설정하고 모델 ID uncensored를 사용하세요.

비동기 코드를 지원하나요?

SDK의 AsyncOpenAI 클라이언트는 동일한 base_url과 키로 작동합니다. 동시 요청 수는 8개 이하로 유지하세요.

결제 없이 어떻게 사용해 볼 수 있나요?

가입하고 키 페이지에서 $0.50 체험 크레딧을 받으세요. 이 크레딧은 7일 동안 유효하며 카드 등록이 필요하지 않습니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 base URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기