RU ▾

Uncensored Model HubОткрытые модели LangChain через API без цензуры

Модели с открытым исходным кодом LangChain через API без цензуры

LangChain работает с моделями с открытым исходным кодом через любой сервер, совместимый с OpenAI, а размещенное API избавляет вас от необходимости запускать GPU самостоятельно. Вот настройка в Python и Node с инструментами, агентом, JSON-выводом, потоковой передачей и планом параллельных запросов.

Обновлено

Стеклянные звенья цепи, соединяющие модульные блоки с серверным кубом, иллюстрируют LangChain с API модели с открытыми весами

Ключевые моменты

  1. Используйте ChatOpenAI с base_url, установленным в https://api.uncensoredmodelhub.com/v1, и моделью uncensored.
  2. Вызов инструментов, JSON-режим и потоковая передача работают через стандартные интерфейсы LangChain.
  3. Ограничьте max_concurrency значением 8 для полного ключа и 2 для ключа пробного периода, чтобы избежать ошибок 429.
  4. Тарификация: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, без подписки.

Подключите LangChain за четыре строки

Если вы хотите использовать модели с открытым исходным кодом LangChain без хостинга, самый короткий путь — это API, совместимое с OpenAI. Класс чата OpenAI в LangChain не беспокоится о том, кто отвечает, главное, чтобы эндпоинт использовал тот же протокол. Вы меняете base URL и ключ, а остальная часть ваших цепочек, промптов и агентов остается прежней.

Этот сервис размещает одну модель с открытыми весами, запущенную независимым провайдером и настроенную на ответы без отказов по контенту для законного использования взрослыми. Это не официальное API какого-либо вендора моделей и не маршрутизатор между вендорами. Установите пакет и создайте объект модели:

pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

Это всё подключение. В реальных проектах храните ключ в переменной окружения и читайте его через os.environ, а не записывайте в файл. Если у вас ещё нет ключа, на странице ключей показано, как зарегистрироваться и активировать $0,50 пробного баланса без привязки карты.

Node.js и LangChain.js

Пакет JavaScript следует той же идее, с передачей base URL через объект конфигурации.

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.API_KEY,
  temperature: 0.7,
  configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});

const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);

Если вы видите ошибку 404 или HTML-страницу, обычно неверен base URL. Он должен заканчиваться на /v1. Два эндпоинта, скрытые за кулисами, — это POST /v1/chat/completions и GET /v1/models, и для чат-модели LangChain ничего больше не нужно.

Лучше ли размещать модель с открытым исходным кодом в LangChain локально или на сервере?

LangChain также может запускать открытые модели на вашем собственном компьютере, например через Ollama или локальный сервер. Этот путь имеет реальные преимущества, и об этом стоит сказать честно. Локальные модели не требуют оплаты за токен, работают офлайн и хранят все данные на вашем оборудовании. Цена — это оборудование: вам нужно достаточно видеопамяти GPU для выбранной модели, вы поддерживаете среду выполнения, а пропускная способность ограничена вашим компьютером.

ВопросЛокальный серверЭто размещённое API
Предварительные затратыОборудование или арендованный GPUНет; предоплаченный баланс от $20
Стоимость за токенНет, но расход электроэнергии и износ оборудования$0,15 за 1M входящих, $0,50 за 1M исходящих
Контекстное окноЗависит от доступной памяти100 000 токенов
Параллельные запросыЗависит от вашей настройки8 для полного ключа
Расположение данныхВаша машинаРазмещено; промпты не используются для обучения

Распространённый паттерн — прототипировать на хостинговом эндпоинте, а затем принимать решение по реальным подсчётам токенов, имеет ли смысл локальное развёртывание. Поскольку обе стороны используют протокол OpenAI, переключение — это изменение одной строки в base_url, а созданные вами цепочки остаются без изменений. На странице что такое модель без цензуры объясняется, как изменения при тонкой настройке влияют на поведение.

Инструменты и простой агент

Вызов инструментов идет через обычное поле tools в стиле OpenAI, а bind_tools в LangChain создает его для вас из декорированной функции Python. Модель возвращает запросы на вызов инструментов, а результаты возвращаются как сообщения role: "tool".

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def word_count(text: str) -> int:
    '''Count the words in a piece of text.'''
    return len(text.split())

agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)

Цикл агента вызывает модель, запускает инструмент по запросу и возвращает вывод, пока модель не ответит обычным текстом. Применимы два предостережения. Дайте каждому инструменту docstring, написанный для модели, потому что именно этот текст она читает для выбора инструмента. И установите лимит рекурсии для агентов, чтобы запутанный запуск не мог продолжать тратить баланс; LangGraph принимает recursion_limit в конфигурации.

Для прямого контроля без агента используйте llm.bind_tools([word_count]) и самостоятельно анализируйте .tool_calls в возвращенном сообщении.

Структурированный вывод с JSON-режимом

Для задач извлечения передайте параметр JSON-режима через bind. Промпт должен указать модели, какие ключи вы хотите, так как JSON-режим лишь подталкивает ее к созданию валидного объекта JSON.

import json
from langchain_core.prompts import ChatPromptTemplate

json_llm = llm.bind(response_format={"type": "json_object"})

prompt = ChatPromptTemplate.from_messages([
    ("system", "Return a JSON object with keys title, genre and summary."),
    ("human", "{idea}"),
])

chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)

Проверяйте результат с помощью Pydantic или простой проверки ключа перед использованием. Режим не накладывает схему, поэтому отсутствие поля возможно, и повторная попытка с более четким промптом обычно исправляет это.

Потоковая передача и параллельные запросы

Потоковая передача работает через серверные события (SSE) и использует стандартный метод stream. Использование отправляется в конце потока.

for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
    print(chunk.content, end="", flush=True)

При обработке множества элементов batch запускает их параллельно, и здесь важны лимиты. Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 и 60. Потоковый запрос удерживает свой слот до конца потока. Передайте ограничение, чтобы LangChain никогда не превышал то, что позволяет ваш ключ:

prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})

Если вы всё ещё видите HTTP 429, код ошибки указывает, какой лимит вы исчерпали: rate_limited для запросов в минуту, concurrency для одновременных запросов. 429 с заголовком Retry-After: 5 означает временную перегрузку. ChatOpenAI имеет опцию max_retries, которая повторяет запросы при таких ошибках с backoff; установите значение 3 или 4 для пакетных задач.

Цепочка поиска без эндпоинта эмбеддингов

Это API охватывает только генерацию, поэтому цепочка поиска требует двух провайдеров: один для эмбеддингов и один для шага чата. LangChain упрощает это, потому что векторное хранилище и чат-модель — отдельные объекты. Используйте любую модель эмбеддингов, которую хотите, из локальной библиотеки или другого сервиса, чтобы проиндексировать ваши документы. Затем передайте извлеченный текст чат-модели через промпт.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
    ("human", "{question}"),
])

chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})

Здесь top_chunks — это то, что вернул ваш ретривер. Ограничьтесь несколькими важными фрагментами. Четыре фрагмента по 300 токенов добавляют 1 200 токенов на вызов, что нормально, но сорок фрагментов добавляют 12 000 токенов и делают каждый запрос в десять раз тяжелее.

Чек-лист устранения неполадок

  • Ошибки аутентификации: подтвердите, что ключ находится в api_key, а не в другом параметре, и что переменная окружения OPENAI_API_KEY не переопределяет то, что вы хотели передать.
  • Модель не найдена: идентификатор модели — ровно uncensored. Вызовите GET /v1/models, чтобы увидеть, что перечисляет сервер.
  • Странные аргументы инструментов: прочитайте сырую строку аргументов, уточните описание инструмента и снизьте температуру до уровня около 0,2 во время работы агентов.
  • Отслеживание и отладка: включите режим verbose или debug в LangChain локально, чтобы видеть каждый исходящий промпт и каждый возвращаемый ответ.
  • Повторяемые тесты: передавайте seed и низкую температуру при сравнении версий промптов, чтобы различия происходили от ваших изменений, а не от случайности выборки.

Стоимость рабочей нагрузки LangChain

Оплата списывается за токены из предоплаченного баланса. Подписки нет, неудачные или отклоненные запросы не оплачиваются, а баланс не сгорает. Пополнения — любая целая сумма от $20 до $500, криптовалютой (USDT на TRC20, USDC на Base), с бонусом 5% от $50, 10% от $100 и 15% от $200. На странице тарифов есть подробности.

Проработайте пример. Бот поддержки отвечает на 2 000 вопросов в день. Каждый запрос отправляет около 1 500 токенов (системный промпт, извлеченные фрагменты, вопрос) и возвращает около 250 токенов.

  • Вход: 2 000 x 1 500 = 3 000 000 токенов, значит 3 x $0,15 = $0,45.
  • Выход: 2 000 x 250 = 500 000 токенов, значит 0,5 x $0,50 = $0,25.
  • Итого: $0,70 в день за 2 000 ответов, или $0,00035 за каждый.

Цепочки поиска — это место, где расходы могут расти, потому что каждый дополнительный извлечённый фрагмент добавляет входные токены в каждый вызов. Логируйте usage_metadata из ответов, наблюдайте за средним размером промпта и уменьшайте количество фрагментов перед масштабированием. В API-документации перечислены все поддерживаемые параметры, если вы хотите пойти дальше.

Вопросы и ответы

Какой класс LangChain использовать для этого API?

Используйте ChatOpenAI из langchain-openai в Python или @langchain/openai в JavaScript. Установите модель в uncensored и укажите base_url на https://api.uncensoredmodelhub.com/v1.

Поддерживает ли она агентов и вызов инструментов?

Да. Вызов инструментов использует формат инструментов в стиле OpenAI, поэтому bind_tools и агенты LangGraph работают. Проверяйте аргументы инструментов самостоятельно, так как модель возвращает их в виде текста.

Каково контекстное окно для цепочек LangChain?

100 000 токенов, общих для промпта и ответа. Длинные буферы памяти и множество извлечённых фрагментов занимают его, поэтому сокращайте историю в вашей цепочке.

Доступны ли эмбеддинги для моего векторного хранилища?

Нет. API поддерживает только текстовый чат, без эмбеддингов, изображений, аудио или дообучения. Используйте отдельного поставщика эмбеддингов для поиска и этот API для этапа генерации.

До вашего ключа — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ