KO ▾

Uncensored Model HubLLM 호스팅 API: 제공하는 것과 생략하는 것

LLM 호스팅 API: 제공하는 것과 생략하는 것

LLM 호스팅 API는 타사가 GPU를 소유하고 모델을 로드하며 서버를 유지 관리하며, 사용자는 HTTP 요청을 전송합니다. 토큰 단위로 지불하고 인프라 관리를 생략합니다. 이 페이지에서는 제공되는 항목, 사용자가 처리해야 할 항목 및 세 가지 언어로 된 첫 번째 요청을 나열합니다.

업데이트

호스팅된 LLM API를 나타내는 노트북에 하나의 빛나는 케이블로 연결된 유리 서버 타워
모듈식 블록을 서버 큐브에 연결하는 유리 체인, 오픈 웨이트 모델 API와 함께 LangChain을 나타냄

주요 포인트

  1. 호스팅에는 GPU, 모델 로드, 배치, 확장 및 HTTP 엔드포인트가 포함됩니다. 사용자는 프롬프트와 키를 제공합니다.
  2. 인터페이스는 OpenAI와 호환됩니다. 기본 URL을 https://api.uncensoredmodelhub.com/v1로 변경하고 uncensored 모델을 사용하세요.
  3. 스트리밍, 함수 호출 및 JSON 모드가 지원됩니다. 이미지, 오디오, 임베딩 또는 파인튜닝 엔드포인트는 없습니다.
  4. 계획할 제한 사항: 컨텍스트 창 100,000 토큰, 전체 키 기준 동시 요청 8개 및 분당 300개.

호스팅이 처리하는 항목

프로덕션에서 언어 모델을 실행하는 것은 가중치 다운로드보다 더 많은 작업을 포함합니다. 호스팅된 API는 다음 작업을 수행하여 코드가 할 필요가 없도록 합니다:

호스트가 처리사용자 책임
GPU, 드라이버 및 추론 서버프롬프트 작성 및 테스트
모델 로드 및 워밍업 유지temperature, max_tokens 및 기타 설정 선택
여러 요청 배치429 응답에 대한 재시도 로직
인증 및 속도 제한API 키 비공개 유지
미터링 및 선불 크레딧지출 모니터링
서빙 측의 소프트웨어 업데이트앱에서 모델 출력 처리

이 서비스는 독립적인 제공업체가 운영하는 단일 오픈 웨이트 모델을 서빙하는 OpenAI 호환 채팅 API입니다. 이는 어떤 모델 벤더의 공식 API가 아니며 여러 모델을 라우팅하는 서비스도 아닙니다. 텍스트 전용: 이미지, 오디오 또는 비디오 생성, 임베딩 및 파인튜닝 없음.

첫 번째 요청

Google 또는 이메일과 비밀번호로 계정을 생성한 후 API 키 페이지에서 키를 복사합니다. 원클릭 체험을 신청하면 카드 없이 7일 유효한 $0.50 크레딧이 추가됩니다.

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

동일한 엔드포인트에는 POST /v1/responses 및 GET /v1/models도 포함됩니다. 문서에 매개변수 목록이 있습니다.

스트리밍, 도구 및 JSON 모드

개발자가 채팅 API에서 사용하는 기능의 대부분을 사용할 수 있습니다.

  • 스트리밍. 토큰이 생성될 때 서버 전송 이벤트를 받도록 stream: true을 설정하세요. 사용량은 마지막에 보고됩니다. 채팅 UI는 이에 의존합니다.
  • 도구 호출. tools 및 tool_choice를 전달하고 응답에서 tool_calls을 읽은 후(스트리밍도 지원됨), role: "tool" 메시지로 결과를 반환합니다.
  • JSON 모드. response_format: {"type":"json_object"}은 모델이 JSON 객체를 반환하게 하여 추출 및 분류에 유용합니다.
  • 샘플링 제어. temperature, top_p, stop, seed 및 페널티가 전달됩니다.

Python의 스트리밍 호출은 다음과 같습니다:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

LangChain과 같은 OpenAI 형식을 지원하는 라이브러리는 기본 URL을 변경하여 작동합니다. LangChain과 오픈소스 모델 페이지에 예시가 있습니다.

제한 및 처리 방법

호스팅은 공유되므로 제한이 있습니다. API 주변에 루프를 빌드하기 전에 제한을 파악하세요.

  • 컨텍스트: 100,000 토큰, 프롬프트와 완료 텍스트 포함. 완료 텍스트는 프롬프트가 남긴 토큰을 모두 사용할 수 있으며, max_tokens은 선택 사항입니다.
  • 동시성 및 속도 제한: 전체 키는 동시 요청 8개와 분당 300개를 허용하며, 체험 키는 각각 2개와 60개를 허용합니다. 스트리밍 요청은 스트리밍이 끝날 때까지 슬롯을 유지합니다.
  • 본문 크기: 요청당 8 MB.
  • 429 응답: 분당 요청의 오류 코드는 rate_limited, 동시성 초과의 오류 코드는 concurrency이며, 임시 과부하 시 Retry-After: 5 헤더가 나타납니다.

대기 후 다시 시도하는 간단한 재시도는 대부분의 앱에서 충분합니다. 프롬프트가 너무 길어 요청이 실패한 경우, 컨텍스트 창 초과 오류 페이지는 요약 또는 기록 절단과 같은 해결 방법을 다룹니다.

응답 헤더는 모니터링에 도움이 됩니다: X-Request-Id는 지원 티켓에 인용용, X-RateLimit-Limit-Requests 및 X-RateLimit-Limit-Concurrency은 한도 확인용, X-Balance-USD은 잔액 확인용입니다.

기존 앱 마이그레이션

코드가 이미 OpenAI 클라이언트를 사용하고 있다면 거의 다시 작성할 필요가 없습니다. 공식 SDK는 두 개의 환경 변수를 읽으므로 전환은 코드 외부에서 발생할 수 있습니다:

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

그런 다음 코드에서 모델을 지칭하는 모든 곳에 모델 이름을 uncensored로 설정합니다. 서비스 시작 전에 확인해야 할 세 가지 사항:

  • 필수 기능. 채팅, 스트리밍, 도구 및 JSON 모드가 작동합니다. 임베딩, 이미지 또는 오디오 엔드포인트 호출은 텍스트 전용 서비스이므로 작동하지 않습니다.
  • 프롬프트 길이. 총 100,000 토큰을 초과하는 내용은 먼저 절단하거나 요약해야 합니다.
  • 동시성. 앱이 동시에 8개 이상의 요청을 보낼 수 있는 경우 클라이언트 앞에 큐 또는 세마포어를 배치하여 피크 시 429 오류를 트리거하지 않도록 하세요.

키를 서버에 보관하세요. 브라우저 코드나 모바일 앱에 키를 배포하지 마세요. 키를 추출한 사람이 잔액을 사용할 수 있기 때문입니다. 환경 변수나 비밀 관리자 저장소에 저장하고 누출 시 회전하세요.

비용 및 청구

청구는 토큰 단위로 이루어집니다: 입력 1M당 $0.15, 출력 1M당 $0.50. 크레딧은 선불 크레딧이며 소멸되지 않으며 구독은 없습니다. 실패하거나 거부된 요청에는 요금이 부과되지 않습니다.

간단한 예시입니다. 입력 2,000 토큰, 출력 500 토큰 요청의 비용은 2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055입니다. 이는 1달러당 1,818회 요청에 해당합니다. 충전 금액은 $20부터 $500까지 정수 단위로 가능하며, 암호화폐(USDT on TRC20, USDC on Base)로 충전할 수 있습니다. $50 이상은 +5%, $100 이상은 +10%, $200 이상은 +15% 보너스를 제공합니다. 가격 책정 페이지를 참조하세요.

코드에서 잔액을 확인하려면 GET /v1/balance 또는 OpenAI 스타일의 GET /v1/dashboard/billing/credit_grants를 호출하거나 모든 응답에서 X-Balance-USD을 읽으세요.

호스팅 또는 자체 실행: 빠른 확인

빠르게 출시하고 싶거나 트래픽이 불규칙하거나 GPU를 운영하고 싶지 않을 때 호스팅된 API가 적합합니다. 모델 선택 및 파인튜닝 능력을 양보합니다. 프롬프트는 제공업체로 전송되지만 학습에는 사용되지 않습니다.

자체 하드웨어 실행과 비교 중이라면, 위의 토큰당 비용을 자체 하드웨어 견적과 비교하세요. 모델 유형에 대한 배경 지식은 무검열 AI 모델이란 무엇인가를 참조하세요. 콘텐츠 측면에서 이 모델은 합법적인 성인 사용에 대해 거부 없이 답변하도록 조정되었으며, 하나의 엄격한 제한 사항이 있습니다: 미성년자가 관련된 성적인 내용은 허용되지 않습니다.

질문과 답변

LLM 호스팅 API란 무엇인가요?

자체 GPU에서 언어 모델을 실행하고 HTTP를 통해 노출하는 서비스입니다. 서버를 관리하지 않고 프롬프트를 보내며 토큰당 요금을 지불합니다.

OpenAI SDK와 호환되나요?

예. Base URL을 https://api.uncensoredmodelhub.com/v1 로 설정하고 키와 모델 ID uncensored를 사용하세요.

속도 제한은 어떻게 되나요?

전체 키는 동시 요청 8개와 분당 300개의 요청을 허용합니다. 체험 키는 동시 요청 2개와 분당 60개의 요청을 허용합니다. 제한을 초과하면 HTTP 429 오류가 발생합니다.

파인튜닝이나 이미지 생성이 가능한가요?

아니요. 파인튜닝, 임베딩, 이미지, 오디오 또는 비디오 생성 기능이 없는 텍스트 전용 API입니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기