Подключите LangChain за четыре строки
Если вы хотите использовать модели с открытым исходным кодом LangChain без хостинга, самый короткий путь — это API, совместимое с OpenAI. Класс чата OpenAI в LangChain не беспокоится о том, кто отвечает, главное, чтобы эндпоинт использовал тот же протокол. Вы меняете base URL и ключ, а остальная часть ваших цепочек, промптов и агентов остается прежней.
Этот сервис размещает одну модель с открытыми весами, запущенную независимым провайдером и настроенную на ответы без отказов по контенту для законного использования взрослыми. Это не официальное API какого-либо вендора моделей и не маршрутизатор между вендорами. Установите пакет и создайте объект модели:
pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
Это всё подключение. В реальных проектах храните ключ в переменной окружения и читайте его через os.environ, а не записывайте в файл. Если у вас ещё нет ключа, на странице ключей показано, как зарегистрироваться и активировать $0,50 пробного баланса без привязки карты.
Node.js и LangChain.js
Пакет JavaScript следует той же идее, с передачей base URL через объект конфигурации.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.API_KEY,
temperature: 0.7,
configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});
const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);
Если вы видите ошибку 404 или HTML-страницу, обычно неверен base URL. Он должен заканчиваться на /v1. Два эндпоинта, скрытые за кулисами, — это POST /v1/chat/completions и GET /v1/models, и для чат-модели LangChain ничего больше не нужно.
Лучше ли размещать модель с открытым исходным кодом в LangChain локально или на сервере?
LangChain также может запускать открытые модели на вашем собственном компьютере, например через Ollama или локальный сервер. Этот путь имеет реальные преимущества, и об этом стоит сказать честно. Локальные модели не требуют оплаты за токен, работают офлайн и хранят все данные на вашем оборудовании. Цена — это оборудование: вам нужно достаточно видеопамяти GPU для выбранной модели, вы поддерживаете среду выполнения, а пропускная способность ограничена вашим компьютером.
| Вопрос | Локальный сервер | Это размещённое API |
|---|---|---|
| Предварительные затраты | Оборудование или арендованный GPU | Нет; предоплаченный баланс от $20 |
| Стоимость за токен | Нет, но расход электроэнергии и износ оборудования | $0,15 за 1M входящих, $0,50 за 1M исходящих |
| Контекстное окно | Зависит от доступной памяти | 100 000 токенов |
| Параллельные запросы | Зависит от вашей настройки | 8 для полного ключа |
| Расположение данных | Ваша машина | Размещено; промпты не используются для обучения |
Распространённый паттерн — прототипировать на хостинговом эндпоинте, а затем принимать решение по реальным подсчётам токенов, имеет ли смысл локальное развёртывание. Поскольку обе стороны используют протокол OpenAI, переключение — это изменение одной строки в base_url, а созданные вами цепочки остаются без изменений. На странице что такое модель без цензуры объясняется, как изменения при тонкой настройке влияют на поведение.
Инструменты и простой агент
Вызов инструментов идет через обычное поле tools в стиле OpenAI, а bind_tools в LangChain создает его для вас из декорированной функции Python. Модель возвращает запросы на вызов инструментов, а результаты возвращаются как сообщения role: "tool".
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
@tool
def word_count(text: str) -> int:
'''Count the words in a piece of text.'''
return len(text.split())
agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)
Цикл агента вызывает модель, запускает инструмент по запросу и возвращает вывод, пока модель не ответит обычным текстом. Применимы два предостережения. Дайте каждому инструменту docstring, написанный для модели, потому что именно этот текст она читает для выбора инструмента. И установите лимит рекурсии для агентов, чтобы запутанный запуск не мог продолжать тратить баланс; LangGraph принимает recursion_limit в конфигурации.
Для прямого контроля без агента используйте llm.bind_tools([word_count]) и самостоятельно анализируйте .tool_calls в возвращенном сообщении.
Структурированный вывод с JSON-режимом
Для задач извлечения передайте параметр JSON-режима через bind. Промпт должен указать модели, какие ключи вы хотите, так как JSON-режим лишь подталкивает ее к созданию валидного объекта JSON.
import json
from langchain_core.prompts import ChatPromptTemplate
json_llm = llm.bind(response_format={"type": "json_object"})
prompt = ChatPromptTemplate.from_messages([
("system", "Return a JSON object with keys title, genre and summary."),
("human", "{idea}"),
])
chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)
Проверяйте результат с помощью Pydantic или простой проверки ключа перед использованием. Режим не накладывает схему, поэтому отсутствие поля возможно, и повторная попытка с более четким промптом обычно исправляет это.
Потоковая передача и параллельные запросы
Потоковая передача работает через серверные события (SSE) и использует стандартный метод stream. Использование отправляется в конце потока.
for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
print(chunk.content, end="", flush=True)
При обработке множества элементов batch запускает их параллельно, и здесь важны лимиты. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 и 60. Потоковый запрос удерживает свой слот до конца потока. Передайте ограничение, чтобы LangChain никогда не превышал то, что позволяет ваш ключ:
prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})
Если вы всё ещё видите HTTP 429, код ошибки указывает, какой лимит вы исчерпали: rate_limited для запросов в минуту, concurrency для одновременных запросов. 429 с заголовком Retry-After: 5 означает временную перегрузку. ChatOpenAI имеет опцию max_retries, которая повторяет запросы при таких ошибках с backoff; установите значение 3 или 4 для пакетных задач.
Цепочка поиска без эндпоинта эмбеддингов
Это API охватывает только генерацию, поэтому цепочка поиска требует двух провайдеров: один для эмбеддингов и один для шага чата. LangChain упрощает это, потому что векторное хранилище и чат-модель — отдельные объекты. Используйте любую модель эмбеддингов, которую хотите, из локальной библиотеки или другого сервиса, чтобы проиндексировать ваши документы. Затем передайте извлеченный текст чат-модели через промпт.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
("human", "{question}"),
])
chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})
Здесь top_chunks — это то, что вернул ваш ретривер. Ограничьтесь несколькими важными фрагментами. Четыре фрагмента по 300 токенов добавляют 1 200 токенов на вызов, что нормально, но сорок фрагментов добавляют 12 000 токенов и делают каждый запрос в десять раз тяжелее.
Чек-лист устранения неполадок
- Ошибки аутентификации: подтвердите, что ключ находится в
api_key, а не в другом параметре, и что переменная окруженияOPENAI_API_KEYне переопределяет то, что вы хотели передать. - Модель не найдена: идентификатор модели — ровно
uncensored. ВызовитеGET /v1/models, чтобы увидеть, что перечисляет сервер. - Странные аргументы инструментов: прочитайте сырую строку аргументов, уточните описание инструмента и снизьте температуру до уровня около 0,2 во время работы агентов.
- Отслеживание и отладка: включите режим verbose или debug в LangChain локально, чтобы видеть каждый исходящий промпт и каждый возвращаемый ответ.
- Повторяемые тесты: передавайте
seedи низкую температуру при сравнении версий промптов, чтобы различия происходили от ваших изменений, а не от случайности выборки.
Стоимость рабочей нагрузки LangChain
Оплата списывается за токены из предоплаченного баланса. Подписки нет, неудачные или отклоненные запросы не оплачиваются, а баланс не сгорает. Пополнения — любая целая сумма от $20 до $500, криптовалютой (USDT на TRC20, USDC на Base), с бонусом 5% от $50, 10% от $100 и 15% от $200. На странице тарифов есть подробности.
Проработайте пример. Бот поддержки отвечает на 2 000 вопросов в день. Каждый запрос отправляет около 1 500 токенов (системный промпт, извлеченные фрагменты, вопрос) и возвращает около 250 токенов.
- Вход: 2 000 x 1 500 = 3 000 000 токенов, значит 3 x $0,15 = $0,45.
- Выход: 2 000 x 250 = 500 000 токенов, значит 0,5 x $0,50 = $0,25.
- Итого: $0,70 в день за 2 000 ответов, или $0,00035 за каждый.
Цепочки поиска — это место, где расходы могут расти, потому что каждый дополнительный извлечённый фрагмент добавляет входные токены в каждый вызов. Логируйте usage_metadata из ответов, наблюдайте за средним размером промпта и уменьшайте количество фрагментов перед масштабированием. В API-документации перечислены все поддерживаемые параметры, если вы хотите пойти дальше.
