TR ▾

Uncensored Model HubLangChain Açık Kaynak Modelleri Sansürsüz API Üzerinden

LangChain Açık Kaynak Modelleri Sansürsüz API Üzerinden

LangChain, herhangi bir OpenAI-uyumlu sunucu üzerinden açık kaynak modellerle çalışır ve barındırılan API, GPU'ları kendi başınıza çalıştırma zahmetinden kurtarır. İşte Python ve Node ile kurulum, araçlar, bir ajan, JSON çıktısı, akış ve eşzamanlılık planı.

güncellendi

Modüler blokları bir sunucu küpüne bağlayan cam zincir bağlantıları, açık ağırlıklı bir model API'si ile LangChain'i gösterir

Temel noktalar

  1. Base URL'yi https://api.uncensoredmodelhub.com/v1 olarak ayarlayarak ve modeli uncensored olarak belirterek ChatOpenAI kullanın.
  2. Araç çağırma, JSON modu ve akış, standart LangChain arayüzleri üzerinden çalışır.
  3. 429 hatalarından kaçınmak için tam anahtarda max_concurrency'yi 8'e, deneme anahtarında 2'ye sabitleyin.
  4. Fiyatlandırma 1M girdi token başı $0,15 ve 1M çıktı token başı $0,50'dir; abonelik yoktur.

LangChain'i dört satırda bağlayın

Herhangi bir şeyi barındırmadan langchain açık kaynak modellerini kullanmak istiyorsanız, en kısa yol OpenAI-uyumlu bir API'dir. LangChain'in OpenAI sohbet sınıfı, uç nokta aynı protokolü konuştuğu sürece kimin yanıt verdiğine bakmaz. Base URL'yi ve anahtarı değiştirirsiniz, geri kalan zincirleriniz, istemleriniz ve ajanlarınız olduğu gibi kalır.

Bu hizmet, bağımsız bir sağlayıcı tarafından yürütülen ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modeli barındırır. Herhangi bir model satıcısının resmi API'si değildir ve satıcılar arasında bir yönlendirici değildir. Paketi yükleyin ve model nesnesini oluşturun:

pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

Bağlantı için gereken bu kadar. Gerçek projelerde anahtarı bir ortam değişkeninde tutun ve dosyaya yazmak yerine os.environ ile okuyun. Henüz bir anahtarınız yoksa, anahtar sayfası kayıt olma ve $0,50 deneme kredisi talep etme (kart gerekmez) yollarını gösterir.

Node.js ve LangChain.js

JavaScript paketi, base URL'nin bir yapılandırma nesnesi aracılığıyla geçirildiği aynı fikri izler.

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.API_KEY,
  temperature: 0.7,
  configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});

const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);

Hata mesajında 404 veya bir HTML sayfası görürseniz, base URL genellikle yanlıştır. /v1 ile bitmelidir. Arkadaki iki uç nokta POST /v1/chat/completions ve GET /v1/models'dir ve LangChain'in sohbet modeli için başka hiçbir şey gerekmez.

LangChain'deki açık kaynak model barındırılan mı yoksa yerel mi olmalı?

LangChain, örneğin Ollama veya yerel bir sunucu üzerinden açık modelleri kendi makinenizde de çalıştırabilir. Bu yolun gerçek avantajları vardır ve bunu söylemek dürüstlüktür. Yerel modeller token başı ücret gerektirmez, çevrimdışı çalışır ve her baytı donanımınızda tutar. Bedeli donanımdır: seçtiğiniz model için yeterli GPU belleğine ihtiyacınız vardır, çalışma zamanını yönetirsiniz ve verimlilik makinenizle sınırlıdır.

SoruYerel sunucuBu barındırılan API
Ön maliyetDonanım veya kiralık GPUYok; $20'den başlayan ön ödemeli kredi
Token başı maliyetYok, ancak güç ve donanım aşınması1M giriş token'ı başına $0,15, 1M çıkış token'ı başına $0,50
Bağlam penceresiMevcut belleğe bağlıdır100.000 token
EşzamanlılıkKurulumunuza bağlıdırTam anahtarda 8
Veri konumuMakinenizBarındırılan; istemler eğitim için kullanılmaz

Yaygın bir kalıp, barındırılan uç noktada prototip oluşturmak, ardından gerçek token sayılarıyla yerel dağıtımın mantıklı olup olmadığına karar vermektir. Her iki taraf da OpenAI protokolünü konuştuğu için, geçiş base_url'de tek satırlık bir değişiklik gerektirir ve oluşturduğunuz zincirler dokunulmadan kalır. sansürsüz bir modelin ne olduğu sayfası, ince ayar değişikliklerinin davranış üzerinde ne gibi değişiklikler yaptığını açıklar.

Araçlar ve basit bir ajan

Araç çağırma normal OpenAI tarzı tools alanı üzerinden gerçekleşir ve LangChain'in bind_tools, dekore edilmiş bir Python işlevinden bunu sizin için oluşturur. Model araç çağırma isteklerini döndürür ve sonuçlar role: "tool" mesajları olarak geri gönderilir.

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def word_count(text: str) -> int:
    '''Count the words in a piece of text.'''
    return len(text.split())

agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)

Ajan döngüsü modeli çağırır, istendiğinde aracı çalıştırır ve model düz metinle yanıt verene kadar çıktıyı geri gönderir. İki uyarı geçerlidir. Her araca modele yazılmış bir docstring verin, çünkü model bir araç seçmek için bu metni okur. Ve ajanlarda bir özyineleme sınırı ayarlayın ki karışık bir çalıştırma krediyi harcamaya devam edemesin; LangGraph yapılandırmada recursion_limit kabul eder.

Ajan olmadan doğrudan kontrol için llm.bind_tools([word_count]) kullanın ve döndürülen mesajda .tool_calls'i kendiniz inceleyin.

JSON modu ile yapılandırılmış çıktı

Çıkarma işleri için JSON modu parametresini bind aracılığıyla iletin. İstem, modelin hangi anahtarları istediğinizi belirtmelidir, çünkü JSON modu yalnızca geçerli bir JSON nesnesi üretmeye teşvik eder.

import json
from langchain_core.prompts import ChatPromptTemplate

json_llm = llm.bind(response_format={"type": "json_object"})

prompt = ChatPromptTemplate.from_messages([
    ("system", "Return a JSON object with keys title, genre and summary."),
    ("human", "{idea}"),
])

chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)

Kullanmadan önce sonucu Pydantic veya düz bir anahtar kontrolü ile doğrulayın. Mod şema zorlamaz, bu nedenle eksik bir alan mümkündür ve daha net bir istemle yeniden deneme genellikle bunu düzeltir.

Akış ve eşzamanlılık

Akış, sunucu tarafından gönderilen olaylar üzerinden çalışır ve standart stream yöntemiyle birlikte kullanılır. Kullanım, akışın sonunda gönderilir.

for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
    print(chunk.content, end="", flush=True)

Çok sayıda öğeyi işlerken, batch bunları eşzamanlı olarak çalıştırır ve burada limitler önemlidir. Tam anahtar 8 eşzamanlı istek ve dakika başına 300 istek sağlar. Deneme anahtarı 2 ve 60 sağlar. Akışlı bir istek, akış bitene kadar slotunu tutar. LangChain'in anahtarınızın izin verdiği miktarı aşmaması için bir sınır belirleyin:

prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})

Hâlâ HTTP 429 görürseniz, hata kodu hangi limite takıldığınızı söyler: dakikada istekler için rate_limited, aynı anda çok fazla için concurrency. Retry-After: 5 başlığına sahip bir 429 geçici aşırı yükü işaret eder. ChatOpenAI, bu hatalarda geri çekilme ile yeniden deneme yapan bir max_retries seçeneğine sahiptir; toplu işler için 3 veya 4 olarak ayarlayın.

Embedding uç noktası olmayan bir geri getirme zinciri

Bu API yalnızca üretimi kapsar, bu nedenle bir geri getirme zinciri iki sağlayıcı gerektirir: biri embedding için, diğeri sohbet adımı için. LangChain bunu kolaylaştırır, çünkü vektör mağazası ve sohbet modeli ayrı nesnelerdir. Belgelerinizi dizinlemek için yerel bir kütüphaneden veya başka bir hizmetten istediğiniz herhangi bir embedding modelini kullanın. Ardından alınan metni istem aracılığıyla sohbet modeline iletin.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
    ("human", "{question}"),
])

chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})

Burada top_chunks, getirici (retriever) bileşeninizin döndürdüğü her şeydir. Yalnızca önemli olan pasajlarla sınırlı tutun. 300 token'lık dört parça, çağrı başına 1.200 token ekler ki bu kabul edilebilir düzeydedir; ancak kırk parça 12.000 token ekler ve her isteği on kat daha ağır hale getirir.

Sorun giderme kontrol listesi

  • Kimlik doğrulama hataları: anahtarın api_key içinde olduğundan emin olun, farklı bir parametrede olmadığından ve OPENAI_API_KEY ortam değişkeninin geçirmek istediğiniz şeyi sessizce geçersiz kılmadığından emin olun.
  • Model bulunamadı: model kimliği tam olarak uncensored'dir. Sunucunun neyi listelediğini görmek için GET /v1/models'i çağırın.
  • Garip araç argümanları: ham argüman dizisini okuyun, araç tanımını sıkılaştırın ve ajan çalıştırmaları için sıcaklığı yaklaşık 0,2'ye düşürün.
  • İzleme ve hata ayıklama: giden her istemi ve dönen her yanıtı görmek için yerel olarak LangChain'in ayrıntılı veya hata ayıklama modunu açın.
  • Tekrarlanabilir testler: istem sürümlerini karşılaştırırken seed ve düşük bir sıcaklık iletin, böylece farklılıklar örneklem şansından değil, değişikliğinizden kaynaklansın.

Bir LangChain iş yükünün maliyeti

Faturalandırma ön ödemeli krediden token başına yapılır. Abonelik yoktur, başarısız veya reddedilen istekler için ücret alınmaz ve kredi süresi dolmaz. Yükleme işlemleri $20 ile $500 arasında tam tutarlarda, kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile yapılır; $50'den itibaren %5, $100'den itibaren %10 ve $200'den itibaren %15 bonus sağlanır. fiyatlandırma sayfası detayları içerir.

Bir örnek üzerinden çalışın. Bir destek botu bir günde 2.000 soruyu yanıtlar. Her istek yaklaşık 1.500 token (sistem istemi, alınan parçalar, soru) gönderir ve yaklaşık 250 token döndürür.

  • Girdi: 2.000 x 1.500 = 3.000.000 token, yani 3 x $0,15 = $0,45.
  • Çıktı: 2.000 x 250 = 500.000 token, yani 0,5 x $0,50 = $0,25.
  • Toplam: 2.000 yanıt için günde $0,70 veya yanıt başına $0,00035.

Geri getirme zincirlerinde maliyetler artabilir, çünkü her ek getirilen parça, her çağrıda girdi token sayısını artırır. Yanıtlardan usage_metadata verilerini günlüğe kaydedin, ortalama istem boyutunu izleyin ve ölçeklendirmeye başlamadan önce parça sayısını azaltın. Daha ileri gitmek isterseniz API dokümantasyonu desteklenen tüm parametreleri listeler.

Sorular ve cevaplar

Bu API için hangi LangChain sınıfını kullanmalıyım?

Python'da langchain-openai'den ChatOpenAI veya JavaScript'te @langchain/openai kullanın. Modeli uncensored olarak ayarlayın ve base_url'yi https://api.uncensoredmodelhub.com/v1 adresine yönlendirin.

Ajanları ve araç çağırma özelliğini destekliyor mu?

Evet. Araç çağırma, OpenAI tarzı araç formatını kullanır, bu nedenle bind_tools ve LangGraph ajanları çalışır. Model bunları metin olarak döndürdüğü için araç argümanlarını kendiniz doğrulayın.

LangChain zincirleri için bağlam penceresi nedir?

100.000 token, istem ve tamamlama tarafından paylaşılır. Uzun bellek arabellekleri ve çok sayıda getirilen parça bu pencereyi tüketir, bu nedenle zincirinizdeki geçmişi kısaltın.

Vektör mağazam için embedding'ler mevcut mu?

Hayır. API yalnızca metin sohbet içindir, embedding'ler, görüntüler, ses veya ince ayar yoktur. Geri getirme için ayrı bir embedding sağlayıcısı kullanın ve bu API'yi üretim adımı için kullanın.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al