KO ▾

Uncensored Model Hub무검열 API를 통한 LangChain 오픈소스 모델

무검열 API를 통한 LangChain 오픈소스 모델

LangChain은 모든 OpenAI 호환 서버와 함께 오픈소스 모델을 실행할 수 있으며, 호스팅 API를 사용하면 직접 GPU를 운영할 필요가 없습니다. Python과 Node 설정, 도구, 에이전트, JSON 출력, 스트리밍 및 동시성 계획은 다음과 같습니다.

업데이트

모듈식 블록을 서버 큐브에 연결하는 유리 체인, 오픈 웨이트 모델 API와 함께 LangChain을 나타냄

주요 포인트

  1. base_url을 https://api.uncensoredmodelhub.com/v1로 설정하고 모델을 uncensored로 설정하여 ChatOpenAI를 사용하세요.
  2. 도구 호출, JSON 모드 및 스트리밍은 모두 표준 LangChain 인터페이스를 통해 작동합니다.
  3. 429 오류를 피하려면 전체 키에서는 max_concurrency를 8로, 체험 키에서는 2로 제한하세요.
  4. 가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며 구독제는 없습니다.

LangChain을 네 줄로 연결

호스팅 없이 langchain 오픈소스 모델을 사용하고 싶다면, 가장 짧은 경로는 OpenAI 호환 API입니다. LangChain의 OpenAI 채팅 클래스는 엔드포인트가 동일한 프로토콜을 사용한다면 응답자가 누구든 신경 쓰지 않습니다. base URL과 키만 변경하면 나머지 체인, 프롬프트, 에이전트는 그대로 유지됩니다.

이 서비스는 독립적인 제공자가 운영하고 합법적인 성인 이용을 위해 콘텐츠 거부 없이 답변하도록 튜닝된 하나의 오픈 웨이트 모델을 호스팅합니다. 이는 어떤 모델 벤더의 공식 API가 아니며 벤더 간 라우터도 아닙니다. 패키지를 설치하고 모델 객체를 생성하세요:

pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

전체 연결입니다. 실제 프로젝트에서는 키를 환경 변수에 보관하고 파일에 작성하는 대신 os.environ로 읽으세요. 키가 없다면 키 페이지에서 카드 없이 청구할 수 있는 $0.50 체험 크레딧을 받는 방법을 확인하세요.

Node.js 및 LangChain.js

JavaScript 패키지도 동일한 개념을 따르며, base URL은 구성 객체를 통해 전달됩니다.

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.API_KEY,
  temperature: 0.7,
  configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});

const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);

오류 메시지에서 404 또는 HTML 페이지가 표시되면 base URL이 잘못되었을 가능성이 높습니다. URL은 /v1로 끝나야 합니다. 백엔드의 두 엔드포인트는 POST /v1/chat/completions과 GET /v1/models이며, LangChain 채팅 모델에는 이 두 가지만 필요합니다.

LangChain의 오픈소스 모델은 호스팅된 버전이 나은가요, 로컬 버전이 나은가요?

LangChain은 Ollama나 로컬 서버를 통해 자체 머신에서 오픈 모델을 실행할 수도 있습니다. 이 방식에는 확실한 장점이 있으며, 이 점은 솔직히 인정해야 합니다. 로컬 모델은 토큰당 요금이 없으며 오프라인에서도 작동하고 모든 바이트를 하드웨어에 보관합니다. 대가로 필요한 것은 하드웨어입니다. 선택한 모델에 충분한 GPU 메모리가 필요하며, 런타임을 유지 관리해야 하고, 처리량은 머신의 성능에 제한됩니다.

질문로컬 서버이 호스팅 API
선불 비용하드웨어 또는 임대 GPU없음; $20부터의 선불 크레딧
토큰당 비용없음, 하지만 전력 및 하드웨어 마모 발생입력 1M 토큰당 $0.15, 출력 1M 토큰당 $0.50
컨텍스트 창사용 가능한 메모리에 따라 다름100,000 토큰
동시 요청구성 방식에 따라 다름전체 키당 8개
데이터 위치사용자 머신호스팅; 프롬프트는 학습에 사용되지 않음

일반적인 패턴은 호스팅 엔드포인트에서 프로토타입을 만든 후 실제 토큰 수를 기준으로 로컬 배포가 타당한지 결정하는 것입니다. 양쪽 모두 OpenAI 프로토콜을 지원하므로 base_url을 한 줄 변경하는 것으로 전환할 수 있으며, 기존 체인은 그대로 유지됩니다. 무검열 모델이란 무엇인가 페이지는 튜닝이 동작에 어떤 변화를 주는지 설명합니다.

도구 및 간단한 에이전트

도구 호출은 표준 OpenAI 스타일의 tools 필드를 통해 이루어지며, LangChain의 bind_tools은 데코레이터가 적용된 Python 함수를 기반으로 이를 생성합니다. 모델은 도구 호출 요청을 반환하며, 결과는 role: "tool" 메시지로 돌아옵니다.

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def word_count(text: str) -> int:
    '''Count the words in a piece of text.'''
    return len(text.split())

agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)

에이전트 루프는 모델을 호출하고 요청 시 도구를 실행한 후 모델이 일반 텍스트로 답변할 때까지 출력을 다시 보냅니다. 두 가지 주의사항이 있습니다. 모든 도구에는 모델이 읽을 수 있도록 작성된 docstring을 제공하세요. 그리고 에이전트가 혼란스러운 실행 중 크레딧을 계속 소모하지 않도록 재귀 한계를 설정하세요. LangGraph는 구성에 recursion_limit을 허용합니다.

에이전트 없이 직접 제어하려면 llm.bind_tools([word_count])를 사용하고 반환된 메시지에서의 .tool_calls을 직접 확인하세요.

JSON 모드를 사용한 구조화된 출력

추출 작업의 경우 bind을 통해 JSON 모드 매개변수를 전달하세요. JSON 모드는 유효한 JSON 객체를 생성하도록 유도할 뿐이므로 프롬프트에서 원하는 키를 명시해야 합니다.

import json
from langchain_core.prompts import ChatPromptTemplate

json_llm = llm.bind(response_format={"type": "json_object"})

prompt = ChatPromptTemplate.from_messages([
    ("system", "Return a JSON object with keys title, genre and summary."),
    ("human", "{idea}"),
])

chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)

사용하기 전에 Pydantic 또는 일반 키 확인으로 결과를 검증하세요. 이 모드는 스키마를 강제하지 않으므로 필드가 누락될 수 있으며, 더 명확한 프롬프트로 재시도하면 보통 해결됩니다.

스트리밍 및 동시성

스트리밍은 서버 전송 이벤트(SSE)를 통해 실행되며 표준 stream 메서드와 함께 작동합니다. 사용량 정보는 스트림 종료 시 전송됩니다.

for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
    print(chunk.content, end="", flush=True)

여러 항목을 처리할 때 batch는 이를 병렬로 실행하며, 이때 제한이 중요합니다. 전체 키는 동시 요청 8개와 분당 300개 요청을 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. 스트리밍 요청은 스트림이 끝날 때까지 슬롯을 점유합니다. 키가 허용하는 범위를 넘지 않도록 제한을 전달하세요:

prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})

여전히 HTTP 429 오류가 발생하면 오류 코드로 어떤 제한에 도달했는지 알 수 있습니다: 분당 요청 수는 rate_limited, 동시 요청 수는 concurrency로 표시됩니다. Retry-After: 5 헤더가 포함된 429 오류는 일시적인 과부하를 의미합니다. ChatOpenAI에는 이러한 오류에 대해 백오프로 재시도하는 max_retries 옵션이 있으며, 배치 작업의 경우 3 또는 4로 설정하세요.

임베딩 엔드포인트 없는 검색 체인

이 API는 생성만 담당하므로 검색 체인에는 두 가지 제공자가 필요합니다: 임베딩용 하나, 채팅 단계용 하나. LangChain은 벡터 저장소와 채팅 모델이 별도 객체이므로 이를 쉽게 처리할 수 있습니다. 로컬 라이브러리나 다른 서비스에서 원하는 임베딩 모델을 사용하여 문서를 인덱싱하세요. 그런 다음 프롬프트를 통해 검색된 텍스트를 채팅 모델에 전달하세요.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
    ("human", "{question}"),
])

chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})

여기서 top_chunks은 검색기가 반환한 결과입니다. 중요한 몇 개의 청크만 유지하세요. 300 토큰의 청크 4개는 호출당 1,200 토큰을 추가하므로 괜찮지만, 40개의 청크는 12,000 토큰을 추가하여 모든 요청을 10배 더 무겁게 만듭니다.

문제 해결 체크리스트

  • 인증 오류: 키가 api_key에 있는지, 다른 매개변수가 아닌지 확인하고, OPENAI_API_KEY 환경 변수가 전달하려는 값을 조용히 덮어쓰지 않는지 확인하세요.
  • 모델을 찾을 수 없음: 모델 ID는 정확히 uncensored입니다. 서버가 나열한 모델을 확인하려면 GET /v1/models를 호출하세요.
  • 이상한 도구 인수: 원본 인수 문자열을 읽고 도구 설명을 명확히 하며, 에이전트 실행 시 온도를 약 0.2로 낮추세요.
  • 추적 및 디버깅: 로컬에서 LangChain의 verbose 또는 debug 모드를 활성화하여 전송된 각 프롬프트와 반환된 각 응답을 확인하세요.
  • 반복 가능한 테스트: 프롬프트 버전을 비교할 때 seed와 낮은 온도를 사용하면, 차이가 샘플링 확률이 아닌 변경 사항에서 비롯됩니다.

LangChain 작업의 비용

청구는 선불 크레딧의 토큰 기준으로 이루어집니다. 구독은 없으며, 실패하거나 거부된 요청에는 요금이 부과되지 않고 크레딧은 만료되지 않습니다. 충전 금액은 $20부터 $500까지의 모든 정수 금액이며, 암호화폐(TRC20 기반 USDT, Base 기반 USDC)로 충전할 수 있습니다. $50부터 5%, $100부터 10%, $200부터 15%의 보너스가 제공됩니다. 가격 안내 페이지에서 세부 사항을 확인하세요.

예제를 계산해 봅시다. 지원 봇이 하루에 2,000개의 질문에 답변합니다. 각 요청은 약 1,500 토큰(시스템 프롬프트, 검색된 스니펫, 질문)을 전송하고 약 250 토큰을 반환합니다.

  • 입력: 2,000 x 1,500 = 3,000,000 토큰, 즉 3 x $0.15 = $0.45.
  • 출력: 2,000 x 250 = 500,000 토큰, 즉 0.5 x $0.50 = $0.25.
  • 합계: 2,000개 답변당 하루 $0.70, 또는 답변당 $0.00035.

검색 체인은 비용이 증가할 수 있는 부분입니다. 검색된 청크가 추가될수록 모든 호출의 입력 토큰이 증가하기 때문입니다. 응답에서 usage_metadata를 로깅하고 평균 프롬프트 크기를 모니터링한 후 확장하기 전에 청크 수를 줄이세요. 더 많은 매개변수를 확인하려면 API 문서을 참조하세요.

질문과 답변

이 API에 어떤 LangChain 클래스를 사용해야 하나요?

Python에서는 langchain-openai의 ChatOpenAI를, JavaScript에서는 @langchain/openai를 사용하세요. 모델을 uncensored로 설정하고 base_url을 https://api.uncensoredmodelhub.com/v1.으로 지정하세요.

에이전트와 도구 호출을 지원하나요?

네. 도구 호출은 OpenAI 스타일의 도구 형식을 사용하므로 bind_tools와 LangGraph 에이전트가 작동합니다. 모델이 이를 텍스트로 반환하므로 도구 인자를 직접 검증하세요.

LangChain 체인의 컨텍스트 창은 얼마인가요?

프롬프트와 생성 텍스트가 공유하는 100,000 토큰입니다. 긴 메모리 버퍼와 많은 검색된 청크는 이를 소모하므로 체인에서 기록을 정리하세요.

벡터 저장소에 임베딩을 사용할 수 있나요?

아니요. 이 API는 텍스트 채팅 전용이며 임베딩, 이미지, 오디오, 파인튜닝을 제공하지 않습니다. 검색에는 별도 임베딩 제공자를 사용하고, 생성 단계에만 이 API를 사용하세요.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기