LangChain을 네 줄로 연결
호스팅 없이 langchain 오픈소스 모델을 사용하고 싶다면, 가장 짧은 경로는 OpenAI 호환 API입니다. LangChain의 OpenAI 채팅 클래스는 엔드포인트가 동일한 프로토콜을 사용한다면 응답자가 누구든 신경 쓰지 않습니다. base URL과 키만 변경하면 나머지 체인, 프롬프트, 에이전트는 그대로 유지됩니다.
이 서비스는 독립적인 제공자가 운영하고 합법적인 성인 이용을 위해 콘텐츠 거부 없이 답변하도록 튜닝된 하나의 오픈 웨이트 모델을 호스팅합니다. 이는 어떤 모델 벤더의 공식 API가 아니며 벤더 간 라우터도 아닙니다. 패키지를 설치하고 모델 객체를 생성하세요:
pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
전체 연결입니다. 실제 프로젝트에서는 키를 환경 변수에 보관하고 파일에 작성하는 대신 os.environ로 읽으세요. 키가 없다면 키 페이지에서 카드 없이 청구할 수 있는 $0.50 체험 크레딧을 받는 방법을 확인하세요.
Node.js 및 LangChain.js
JavaScript 패키지도 동일한 개념을 따르며, base URL은 구성 객체를 통해 전달됩니다.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.API_KEY,
temperature: 0.7,
configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});
const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);
오류 메시지에서 404 또는 HTML 페이지가 표시되면 base URL이 잘못되었을 가능성이 높습니다. URL은 /v1로 끝나야 합니다. 백엔드의 두 엔드포인트는 POST /v1/chat/completions과 GET /v1/models이며, LangChain 채팅 모델에는 이 두 가지만 필요합니다.
LangChain의 오픈소스 모델은 호스팅된 버전이 나은가요, 로컬 버전이 나은가요?
LangChain은 Ollama나 로컬 서버를 통해 자체 머신에서 오픈 모델을 실행할 수도 있습니다. 이 방식에는 확실한 장점이 있으며, 이 점은 솔직히 인정해야 합니다. 로컬 모델은 토큰당 요금이 없으며 오프라인에서도 작동하고 모든 바이트를 하드웨어에 보관합니다. 대가로 필요한 것은 하드웨어입니다. 선택한 모델에 충분한 GPU 메모리가 필요하며, 런타임을 유지 관리해야 하고, 처리량은 머신의 성능에 제한됩니다.
| 질문 | 로컬 서버 | 이 호스팅 API |
|---|---|---|
| 선불 비용 | 하드웨어 또는 임대 GPU | 없음; $20부터의 선불 크레딧 |
| 토큰당 비용 | 없음, 하지만 전력 및 하드웨어 마모 발생 | 입력 1M 토큰당 $0.15, 출력 1M 토큰당 $0.50 |
| 컨텍스트 창 | 사용 가능한 메모리에 따라 다름 | 100,000 토큰 |
| 동시 요청 | 구성 방식에 따라 다름 | 전체 키당 8개 |
| 데이터 위치 | 사용자 머신 | 호스팅; 프롬프트는 학습에 사용되지 않음 |
일반적인 패턴은 호스팅 엔드포인트에서 프로토타입을 만든 후 실제 토큰 수를 기준으로 로컬 배포가 타당한지 결정하는 것입니다. 양쪽 모두 OpenAI 프로토콜을 지원하므로 base_url을 한 줄 변경하는 것으로 전환할 수 있으며, 기존 체인은 그대로 유지됩니다. 무검열 모델이란 무엇인가 페이지는 튜닝이 동작에 어떤 변화를 주는지 설명합니다.
도구 및 간단한 에이전트
도구 호출은 표준 OpenAI 스타일의 tools 필드를 통해 이루어지며, LangChain의 bind_tools은 데코레이터가 적용된 Python 함수를 기반으로 이를 생성합니다. 모델은 도구 호출 요청을 반환하며, 결과는 role: "tool" 메시지로 돌아옵니다.
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
@tool
def word_count(text: str) -> int:
'''Count the words in a piece of text.'''
return len(text.split())
agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)
에이전트 루프는 모델을 호출하고 요청 시 도구를 실행한 후 모델이 일반 텍스트로 답변할 때까지 출력을 다시 보냅니다. 두 가지 주의사항이 있습니다. 모든 도구에는 모델이 읽을 수 있도록 작성된 docstring을 제공하세요. 그리고 에이전트가 혼란스러운 실행 중 크레딧을 계속 소모하지 않도록 재귀 한계를 설정하세요. LangGraph는 구성에 recursion_limit을 허용합니다.
에이전트 없이 직접 제어하려면 llm.bind_tools([word_count])를 사용하고 반환된 메시지에서의 .tool_calls을 직접 확인하세요.
JSON 모드를 사용한 구조화된 출력
추출 작업의 경우 bind을 통해 JSON 모드 매개변수를 전달하세요. JSON 모드는 유효한 JSON 객체를 생성하도록 유도할 뿐이므로 프롬프트에서 원하는 키를 명시해야 합니다.
import json
from langchain_core.prompts import ChatPromptTemplate
json_llm = llm.bind(response_format={"type": "json_object"})
prompt = ChatPromptTemplate.from_messages([
("system", "Return a JSON object with keys title, genre and summary."),
("human", "{idea}"),
])
chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)
사용하기 전에 Pydantic 또는 일반 키 확인으로 결과를 검증하세요. 이 모드는 스키마를 강제하지 않으므로 필드가 누락될 수 있으며, 더 명확한 프롬프트로 재시도하면 보통 해결됩니다.
스트리밍 및 동시성
스트리밍은 서버 전송 이벤트(SSE)를 통해 실행되며 표준 stream 메서드와 함께 작동합니다. 사용량 정보는 스트림 종료 시 전송됩니다.
for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
print(chunk.content, end="", flush=True)
여러 항목을 처리할 때 batch는 이를 병렬로 실행하며, 이때 제한이 중요합니다. 전체 키는 동시 요청 8개와 분당 300개 요청을 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. 스트리밍 요청은 스트림이 끝날 때까지 슬롯을 점유합니다. 키가 허용하는 범위를 넘지 않도록 제한을 전달하세요:
prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})
여전히 HTTP 429 오류가 발생하면 오류 코드로 어떤 제한에 도달했는지 알 수 있습니다: 분당 요청 수는 rate_limited, 동시 요청 수는 concurrency로 표시됩니다. Retry-After: 5 헤더가 포함된 429 오류는 일시적인 과부하를 의미합니다. ChatOpenAI에는 이러한 오류에 대해 백오프로 재시도하는 max_retries 옵션이 있으며, 배치 작업의 경우 3 또는 4로 설정하세요.
임베딩 엔드포인트 없는 검색 체인
이 API는 생성만 담당하므로 검색 체인에는 두 가지 제공자가 필요합니다: 임베딩용 하나, 채팅 단계용 하나. LangChain은 벡터 저장소와 채팅 모델이 별도 객체이므로 이를 쉽게 처리할 수 있습니다. 로컬 라이브러리나 다른 서비스에서 원하는 임베딩 모델을 사용하여 문서를 인덱싱하세요. 그런 다음 프롬프트를 통해 검색된 텍스트를 채팅 모델에 전달하세요.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
("human", "{question}"),
])
chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})
여기서 top_chunks은 검색기가 반환한 결과입니다. 중요한 몇 개의 청크만 유지하세요. 300 토큰의 청크 4개는 호출당 1,200 토큰을 추가하므로 괜찮지만, 40개의 청크는 12,000 토큰을 추가하여 모든 요청을 10배 더 무겁게 만듭니다.
문제 해결 체크리스트
- 인증 오류: 키가
api_key에 있는지, 다른 매개변수가 아닌지 확인하고,OPENAI_API_KEY환경 변수가 전달하려는 값을 조용히 덮어쓰지 않는지 확인하세요. - 모델을 찾을 수 없음: 모델 ID는 정확히
uncensored입니다. 서버가 나열한 모델을 확인하려면GET /v1/models를 호출하세요. - 이상한 도구 인수: 원본 인수 문자열을 읽고 도구 설명을 명확히 하며, 에이전트 실행 시 온도를 약 0.2로 낮추세요.
- 추적 및 디버깅: 로컬에서 LangChain의 verbose 또는 debug 모드를 활성화하여 전송된 각 프롬프트와 반환된 각 응답을 확인하세요.
- 반복 가능한 테스트: 프롬프트 버전을 비교할 때
seed와 낮은 온도를 사용하면, 차이가 샘플링 확률이 아닌 변경 사항에서 비롯됩니다.
LangChain 작업의 비용
청구는 선불 크레딧의 토큰 기준으로 이루어집니다. 구독은 없으며, 실패하거나 거부된 요청에는 요금이 부과되지 않고 크레딧은 만료되지 않습니다. 충전 금액은 $20부터 $500까지의 모든 정수 금액이며, 암호화폐(TRC20 기반 USDT, Base 기반 USDC)로 충전할 수 있습니다. $50부터 5%, $100부터 10%, $200부터 15%의 보너스가 제공됩니다. 가격 안내 페이지에서 세부 사항을 확인하세요.
예제를 계산해 봅시다. 지원 봇이 하루에 2,000개의 질문에 답변합니다. 각 요청은 약 1,500 토큰(시스템 프롬프트, 검색된 스니펫, 질문)을 전송하고 약 250 토큰을 반환합니다.
- 입력: 2,000 x 1,500 = 3,000,000 토큰, 즉 3 x $0.15 = $0.45.
- 출력: 2,000 x 250 = 500,000 토큰, 즉 0.5 x $0.50 = $0.25.
- 합계: 2,000개 답변당 하루 $0.70, 또는 답변당 $0.00035.
검색 체인은 비용이 증가할 수 있는 부분입니다. 검색된 청크가 추가될수록 모든 호출의 입력 토큰이 증가하기 때문입니다. 응답에서 usage_metadata를 로깅하고 평균 프롬프트 크기를 모니터링한 후 확장하기 전에 청크 수를 줄이세요. 더 많은 매개변수를 확인하려면 API 문서을 참조하세요.
