KO ▾

Uncensored Model Hub

LLM 자체 호스팅 vs API: 비용, 노력 및 손익분기점

LLM 자체 호스팅 vs API 문제는 대부분 산출과 자신의 시간을 정직하게 평가하는 것입니다. 모델을 직접 실행하면 제어권과 고정 요금이 제공되고 API는 설정이 필요 없고 사용량에 따라 요금이 부과됩니다. 어떤 옵션이 더 나은지 확인하는 방법은 다음과 같습니다.

업데이트

서버 랙과 클라우드 노드 및 동전을 비교하여 자체 호스팅과 API를 비교하는 저울
모듈식 블록을 서버 큐브에 연결하는 유리 체인, 오픈 웨이트 모델 API와 함께 LangChain을 나타냄

주요 포인트

  1. 모델은 4비트 기준 파라미터당 약 0.5바이트, 16비트 기준 2바이트가 필요하며, 캐시와 오버헤드를 제외하면 70B 모델에는 약 35GB에서 140GB의 GPU 메모리가 필요합니다.
  2. 1M 입력당 $0.15, 1M 출력당 $0.50일 때, 월 100M 입력 및 20M 출력 토큰 비용은 $25입니다.
  3. 자체 호스팅은 파인튜닝, 오프라인 사용 및 매우 높은 안정적인 트래픽에서 우위를 점하고 API는 낮은 또는 급격한 트래픽에서 우위를 점합니다.
  4. 자신의 시간을 계산하세요: 업데이트, 드라이버 및 모니터링이 비용에 포함됩니다.

간단한 답변

대부분의 개인 및 소규모 팀의 경우 트래픽이 높고 일정할 때까지 API가 더 저렴합니다. 자체 호스팅 LLM과 API 간 선택 시 결정 변수는 사용률입니다: 연중무휴로 비용을 지불하는 GPU는 백만 토큰을 처리하든 10을 처리하든 비용이 동일합니다. 토큰 사용량 기반 API는 사용된 토큰에 대해서만 요금이 청구됩니다.

파인튜닝이 필요하거나 데이터가 네트워크를 벗어나지 말아야 하거나 특정 모델을 실행해야 하거나 지속적인 대용량 트래픽이 있고 기계를 운영할 인력이 있는 경우 자체 호스팅이 적합합니다. 오후 한나절 안에 구동하고 싶거나 사용량이 불규칙하거나 한 사람이 모든 작업을 수행하는 경우 API가 적합합니다.

이 기사의 나머지 부분에서는 재현할 수 있는 수치를 제공합니다. 하드웨어 또는 클라우드 가격은 변동하므로 인용하지 않으며, 공식에 자신의 견적을 추가해야 합니다.

모델이 실제로 필요한 하드웨어

주요 제약은 GPU 메모리입니다. 가중치만도 약 parameters × bytes per parameter가 필요합니다:

모델 크기16비트 (2바이트)8비트 (1바이트)4비트 (0.5바이트)
8B16GB8GB4GB
32B64GB32GB16GB
70B140GB70GB35GB

이것이 최소치입니다. 컨텍스트 길이와 동시 요청 수에 따라 증가하는 어텐션 캐시를 위한 메모리와 런타임 오버헤드도 필요합니다. 여러 사용자에게 100,000 토큰 컨텍스트를 동시에 서빙하면 가중치보다 훨씬 많은 메모리가 필요할 수 있으며 이 수치는 모델의 아키텍처에 따라 다릅니다. 작은 양자화 모델은 단일 소비자용 GPU에서 실행되지만 큰 모델은 여러 GPU 또는 임대된 노드와 요청을 배치 처리하기 위한 vLLM이나 llama.cpp와 같은 추론 서버가 필요합니다.

4비트로 양자화하면 품질의 일부 손실과 함께 메모리를 절약할 수 있으며 손실은 모델과 작업에 따라 다릅니다. 자신의 프롬프트로 테스트해야 합니다.

하드웨어 견적에 포함되지 않는 작업

하드웨어는 눈에 보이는 비용입니다. 덜 눈에 띄는 부분은 운영입니다:

  • 설정. 드라이버, CUDA 버전, 추론 서버, OpenAI 호환 레이어, 인증 및 리버스 프록시입니다. 첫 번째 작동 설정은 보통 하루 이상 걸리며 프로덕션 환경은 더 오래 걸립니다.
  • 튜닝. 배치 크기, 컨텍스트 제한, 메모리 설정 및 샘플링 기본값은 2명의 사용자를 서빙할지 20명의 사용자를 서빙할지 결정합니다.
  • 업데이트. 새로운 모델 버전, 보안 패치 및 추론 서버 릴리스가 정기적으로 제공되며 때로는 문제를 발생시킵니다.
  • 모니터링. GPU가 밤에 메모리가 부족할 때 누군가가 알아차려야 합니다.
  • 유휴 시간. 사용하지 않는 기계도 전력 또는 임대 비용이 발생합니다.

자신의 시간에 시간당 가치를 부여하고 월 유지보수에 약 4~8시간을 추가하세요. 이 수치는 소규모 배포의 전기 요금보다 클 수 있습니다.

동일한 트래픽에 대한 API 비용

이 API는 만료되지 않는 선불 크레딧에서 1M 입력 토큰당 $0.15, 1M 출력 토큰당 $0.50을 청구합니다. 구독이 없으며 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 월별 계산 예시:

월 토큰량 (입력 / 출력)입력 비용출력 비용합계
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

입력대 출력 비율이 5:1인 경우, 6M 토큰의 비용은 5 × $0.15 + 1 × $0.50 = $1.25이며, 이는 토큰 100만 개당 약 $0.21의 혼합 비용입니다. 실제 비율은 다를 수 있으므로 자신의 평균 값을 사용해 다시 계산하세요. 충전 금액과 보너스에 대해서는 가격 페이지를 참조하세요.

손익분기점 찾기

자체 호스팅에 매월 지불할 모든 항목을 합산하세요: 사용 기간으로 나눈 하드웨어 비용 또는 임대료, 전력 및 유지보수 시간의 가치입니다. 총계를 F라고 합시다. 그런 다음:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

월 고정 비용 $100은 해당 비율로 API에서 약 480M 토큰에 해당합니다. 실제 트래픽이 손익분기점보다 훨씬 낮다면(대부분의 사이드 프로젝트, 내부 도구, 소규모 제품에 해당) API가 더 저렴합니다. 트래픽이 매우 많고 일정하다면 자체 보유가 유리할 수 있습니다. 현재 수치를 사용해 비교해 보세요. 양쪽 모두 변하기 때문입니다.

자체 호스팅 용량도 한계가 있음을 기억하세요. 하나의 머신은 동시에 제한된 수의 요청만 처리할 수 있습니다. 여기서 전체 키는 8개의 동시 요청과 분당 300개의 요청이 허용되며, 그 뒤의 용량은 귀하의 문제가 아닙니다.

호스팅 API를 통해 포기하는 것

API는 공짜 식사가 아니며, 일부 제한 사항을 명확히 밝힐 가치가 있습니다.

  • 단일 모델. 이 서비스는 독립적인 제공업체의 단일 오픈 웨이트 모델을 실행하며, 모델 ID는 uncensored입니다. 모델을 교체하거나 사용자 고유의 가중치를 로드할 수 없습니다.
  • 텍스트 전용: 이미지, 오디오, 비디오, 임베딩을 지원하지 않으며 파인튜닝도 지원하지 않습니다.
  • 100,000 토큰의 컨텍스트 창, 프롬프트 및 생성 텍스트 포함.
  • 프롬프트가 네트워크를 벗어납니다. 학습에 사용되지는 않지만 정책상 온프레미스 처리가 필요한 경우 자체 호스팅이 해결책입니다.

표준 OpenAI 인터페이스 뒤에 스트리밍, 도구 호출 및 JSON 모드를 제공하므로 기존 코드는 기본 URL만 변경하면 작동합니다. 프레임워크도 도움이 됩니다. LangChain과 오픈소스 모델을 사용하는 방법에 대한 우리의 가이드는 이러한 엔드포인트를 사용하도록 구성하는 방법을 보여줍니다.

결정을 내리는 저렴한 방법

필요한지 확인하기 위해 하드웨어를 구매하지 마세요. 먼저 API를 통해 실제 워크로드를 실행하고 월별 토큰 사용량을 측정한 후 호스팅 견적과 비교하세요. API 키 페이지에서 $0.50의 원클릭 체험판이 제공되며, 호출은 일반적인 OpenAI 호출과 동일합니다:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

응답에는 사용량 객체와 X-Balance-USD 헤더가 포함되어 있어, 정상적인 사용 1주일로 실제 월별 수치를 얻을 수 있습니다. 해당 수치가 손익 분기점에 가까워지면, 결정을 내릴 데이터가 확보됩니다. 설정 세부 사항은 문서에서 확인하세요. 관련 모델의 종류에 대한 배경 지식은 무검열 AI 모델이란 무엇인가를 참조하세요.

질문과 답변

LLM을 자체 호스팅하는 것이 API보다 저렴합니까?

높고 안정적인 사용량에서만 가능합니다. GPU는 사용 중이든 사용하지 않든 비용이 동일하지만, API는 토큰 단위로 요금이 청구됩니다. 위의 공식으로 손익분기점을 계산하세요.

필요한 GPU 메모리는 얼마입니까?

가중치는 16비트 기준 파라미터당 약 2바이트, 4비트 기준 0.5바이트이므로, 70B 모델에는 컨텍스트 캐시용 메모리를 더해 약 140GB 또는 35GB가 필요합니다.

이 API로 파인튜닝이 가능한가요?

아니요. 파인튜닝이나 임베딩 없이 텍스트 전용 추론만 제공합니다. 사용자 정의 가중치가 필요하면 자체 호스팅이 적합한 방법입니다.

API 비용은 얼마입니까?

입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며, 선불 방식이고 구독료가 없으며 실패한 요청에는 요금이 청구되지 않습니다.

프롬프트를 학습에 사용하나요?

아니요. 프롬프트는 학습에 사용되지 않습니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기