PT ▾

Uncensored Model HubHospedar LLM vs API: Custo, Esforço e Ponto de Equilíbrio

Hospedar LLM vs API: Custo, Esforço e Ponto de Equilíbrio

A pergunta sobre self-hosting de LLM vs API é basicamente aritmética mais uma análise honesta do seu próprio tempo. Executar um modelo por conta própria oferece controle e uma conta fixa; uma API oferece zero configuração e uma conta que acompanha o uso. Veja como calcular qual opção é melhor para o seu volume.

Atualizado

Balança de equilíbrio pesando um rack de servidor contra um nó de nuvem e moedas, comparando hospedagem local com uma API
Elos de corrente de vidro conectando blocos modulares a um cubo de servidor, ilustrando LangChain com uma API de modelo de pesos abertos

Pontos principais

  1. Um modelo precisa de cerca de 0,5 bytes por parâmetro em 4-bit e 2 bytes em 16-bit, antes do cache e sobrecarga, então um modelo de 70B precisa de aproximadamente 35 GB a 140 GB de memória de GPU.
  2. Por $0,15 por 1M de entrada e $0,50 por 1M de saída, 100M de entrada mais 20M de tokens de saída por mês custam $25.
  3. A hospedagem local vence em fine-tuning, uso offline e volume alto e constante; uma API vence em tráfego baixo ou irregular.
  4. Conte suas próprias horas: atualizações, drivers e monitoramento fazem parte do custo.

Resposta curta

Para a maioria dos indivíduos e pequenas equipes, uma API é mais barata até que o tráfego seja alto e constante. Para decisões entre self-hosting de LLM vs API, a variável decisória é a utilização: uma GPU que você paga o dia todo custa o mesmo, seja ela servir um milhão de tokens ou dez. Uma API de pagamento por token cobra apenas pelos tokens usados.

A auto-hospedagem faz sentido quando você precisa fazer fine-tuning, quando os dados não podem sair da sua rede, quando deve executar um modelo específico ou quando tem volume pesado e constante e alguém para operar a máquina. Uma API faz sentido quando você quer estar rodando em uma tarde, quando o uso é desigual ou quando uma pessoa faz tudo.

O resto deste artigo dá números que você pode reproduzir. Não cita preços de hardware ou nuvem, porque esses variam; você adicionará sua própria cotação às fórmulas.

Que hardware um modelo realmente precisa

A principal restrição é a memória da GPU. Os pesos sozinhos ocupam aproximadamente parameters × bytes per parameter:

Tamanho do modelo16-bit (2 bytes)8-bit (1 byte)4-bit (0,5 bytes)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

Esse é o mínimo. Você também precisa de memória para o cache de atenção, que cresce com o comprimento do contexto e com o número de requisições simultâneas, mais sobrecarga de tempo de execução. Servir um contexto de 100.000 tokens para vários usuários ao mesmo tempo pode exigir muito mais memória que os pesos, e os números dependem da arquitetura do modelo. Modelos quantizados menores rodam em uma única GPU de consumidor; os grandes precisam de várias GPUs ou de um nó alugado, mais um servidor de inferência como vLLM ou llama.cpp para agrupar requisições.

Quantizar para 4-bit economiza memória com algum custo na qualidade, e a perda varia conforme o modelo e a tarefa. Você precisa testar com os seus próprios prompts.

O trabalho que não está na cotação de hardware

O hardware é o custo visível. A parte menos visível são as operações:

  • Configuração. Drivers, versões CUDA, um servidor de inferência, uma camada compatível com OpenAI, autenticação e um proxy reverso. Uma primeira configuração funcional geralmente leva um dia ou mais; uma de produção leva mais tempo.
  • Ajuste. Tamanhos de lote, limites de contexto, configurações de memória e padrões de amostragem determinam se você atende 2 usuários ou 20.
  • Atualizações. Novas versões de modelos, patches de segurança e lançamentos do servidor de inferência chegam regularmente e às vezes quebram coisas.
  • Monitoramento. Alguém precisa notar quando a GPU fica sem memória à noite.
  • Tempo ocioso. Uma máquina parada ainda custa energia ou aluguel.

Atribua um valor por hora ao seu tempo e adicione cerca de quatro a oito horas por mês de manutenção. Esse número muitas vezes supera a conta de eletricidade em implantações pequenas.

Quanto a API custa para o mesmo volume

Esta API cobra $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída, a partir de crédito pré-pago que nunca expira. Não há assinatura, e solicitações falhas ou recusadas não são cobradas. Exemplos calculados, mês a mês:

Tokens mensais (entrada / saída)Custo de entradaCusto de saídaTotal
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

Para uma proporção de entrada para saída de 5 para 1, 6M de tokens custam 5 × $0,15 + 1 × $0,50 = $1,25, ou cerca de $0,21 por milhão de tokens mesclados. Sua proporção será diferente, então recalcule com suas próprias médias. Veja a página de preços para valores de recarga e bônus.

Encontre seu ponto de equilíbrio

Some tudo o que você pagaria por mês para hospedar localmente: custo de hardware dividido pelos meses de uso, ou taxa de aluguel; energia; e o valor das suas horas de manutenção. Chame o total de F. Então:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Cada $100 de custo fixo mensal equivale a cerca de 480M de tokens na API nessa mistura. Se seu tráfego real estiver bem abaixo da figura de equilíbrio, o que é verdade para a maioria dos projetos secundários, ferramentas internas e produtos pequenos, a API é mais barata. Se estiver muito acima e constante, possuir a máquina pode vencer. Verifique essa comparação usando números atuais, porque ambos os lados mudam.

Lembre-se de que a capacidade de auto-hospedagem também é um teto. Uma máquina serve apenas tantas requisições de uma vez. Com uma chave cheia aqui, 8 requisições simultâneas e 300 por minuto são permitidas, e a capacidade por trás delas não é seu problema.

O que você abre mão com uma API hospedada

Uma API não é almoço grátis, e algumas limitações valem a pena ser declaradas claramente.

  • Um modelo. Este serviço executa um único modelo de pesos abertos de um provedor independente, ID do modelo uncensored. Você não pode trocá-lo ou carregar seus próprios pesos.
  • Apenas texto: sem imagens, áudio, vídeo ou embeddings, e sem fine-tuning.
  • Contexto de 100.000 tokens, prompt mais conclusão.
  • Seus prompts saem da sua rede. Não são usados para treinamento, mas se a política exigir processamento on-premises, a auto-hospedagem é a resposta.

Em troca, você obtém streaming, chamada de ferramentas e modo JSON por meio da interface padrão da OpenAI, então o código existente funciona com uma URL base alterada. Frameworks também ajudam; nossa nota sobre o uso de modelos open-source com LangChain mostra como apontar um para um endpoint como este.

Uma maneira barata de decidir

Não compre hardware para descobrir se precisa dele. Execute sua carga de trabalho real através de uma API primeiro, meça tokens por mês e só então compare com uma cotação de hospedagem. Uma trial de um clique de $0,50 está disponível na página de chave de API, e a chamada é a usual OpenAI:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

A resposta inclui um objeto de uso e um cabeçalho X-Balance-USD, então uma semana de uso normal fornece uma figura mensal real. Se essa figura acabar perto do ponto de equilíbrio, você terá os dados para decidir. Detalhes de configuração estão na documentação. Para o contexto sobre o tipo de modelo envolvido, consulte o que é um modelo de IA sem censura.

Perguntas e respostas

É mais barato hospedar um LLM por conta própria do que uma API?

Apenas em volume alto e constante. Uma GPU custa o mesmo ociosa ou ocupada, enquanto uma API cobra por token. Calcule seu ponto de equilíbrio com a fórmula acima.

Quanta memória de GPU eu preciso?

Os pesos ocupam cerca de 2 bytes por parâmetro em 16 bits e 0,5 byte em 4 bits, então um modelo de 70B precisa de aproximadamente 140 GB ou 35 GB, mais memória para o cache de contexto.

Posso fazer fine-tuning nesta API?

Não. É apenas inferência de texto, sem fine-tuning ou embeddings. Se você precisa de pesos personalizados, a auto-hospedagem é o caminho certo.

Quanto custa a API?

$0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída, crédito pré-pago, sem assinatura, e requisições falhas não são cobradas.

Vocês treinam o modelo com meus prompts?

Não. Os prompts não são usados para treinamento.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API