LangChain'i dört satırda bağlayın
Herhangi bir şeyi barındırmadan langchain açık kaynak modellerini kullanmak istiyorsanız, en kısa yol OpenAI-uyumlu bir API'dir. LangChain'in OpenAI sohbet sınıfı, uç nokta aynı protokolü konuştuğu sürece kimin yanıt verdiğine bakmaz. Base URL'yi ve anahtarı değiştirirsiniz, geri kalan zincirleriniz, istemleriniz ve ajanlarınız olduğu gibi kalır.
Bu hizmet, bağımsız bir sağlayıcı tarafından yürütülen ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modeli barındırır. Herhangi bir model satıcısının resmi API'si değildir ve satıcılar arasında bir yönlendirici değildir. Paketi yükleyin ve model nesnesini oluşturun:
pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
Bağlantı için gereken bu kadar. Gerçek projelerde anahtarı bir ortam değişkeninde tutun ve dosyaya yazmak yerine os.environ ile okuyun. Henüz bir anahtarınız yoksa, anahtar sayfası kayıt olma ve $0,50 deneme kredisi talep etme (kart gerekmez) yollarını gösterir.
Node.js ve LangChain.js
JavaScript paketi, base URL'nin bir yapılandırma nesnesi aracılığıyla geçirildiği aynı fikri izler.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.API_KEY,
temperature: 0.7,
configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});
const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);
Hata mesajında 404 veya bir HTML sayfası görürseniz, base URL genellikle yanlıştır. /v1 ile bitmelidir. Arkadaki iki uç nokta POST /v1/chat/completions ve GET /v1/models'dir ve LangChain'in sohbet modeli için başka hiçbir şey gerekmez.
LangChain'deki açık kaynak model barındırılan mı yoksa yerel mi olmalı?
LangChain, örneğin Ollama veya yerel bir sunucu üzerinden açık modelleri kendi makinenizde de çalıştırabilir. Bu yolun gerçek avantajları vardır ve bunu söylemek dürüstlüktür. Yerel modeller token başı ücret gerektirmez, çevrimdışı çalışır ve her baytı donanımınızda tutar. Bedeli donanımdır: seçtiğiniz model için yeterli GPU belleğine ihtiyacınız vardır, çalışma zamanını yönetirsiniz ve verimlilik makinenizle sınırlıdır.
| Soru | Yerel sunucu | Bu barındırılan API |
|---|---|---|
| Ön maliyet | Donanım veya kiralık GPU | Yok; $20'den başlayan ön ödemeli kredi |
| Token başı maliyet | Yok, ancak güç ve donanım aşınması | 1M giriş token'ı başına $0,15, 1M çıkış token'ı başına $0,50 |
| Bağlam penceresi | Mevcut belleğe bağlıdır | 100.000 token |
| Eşzamanlılık | Kurulumunuza bağlıdır | Tam anahtarda 8 |
| Veri konumu | Makineniz | Barındırılan; istemler eğitim için kullanılmaz |
Yaygın bir kalıp, barındırılan uç noktada prototip oluşturmak, ardından gerçek token sayılarıyla yerel dağıtımın mantıklı olup olmadığına karar vermektir. Her iki taraf da OpenAI protokolünü konuştuğu için, geçiş base_url'de tek satırlık bir değişiklik gerektirir ve oluşturduğunuz zincirler dokunulmadan kalır. sansürsüz bir modelin ne olduğu sayfası, ince ayar değişikliklerinin davranış üzerinde ne gibi değişiklikler yaptığını açıklar.
Araçlar ve basit bir ajan
Araç çağırma normal OpenAI tarzı tools alanı üzerinden gerçekleşir ve LangChain'in bind_tools, dekore edilmiş bir Python işlevinden bunu sizin için oluşturur. Model araç çağırma isteklerini döndürür ve sonuçlar role: "tool" mesajları olarak geri gönderilir.
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
@tool
def word_count(text: str) -> int:
'''Count the words in a piece of text.'''
return len(text.split())
agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)
Ajan döngüsü modeli çağırır, istendiğinde aracı çalıştırır ve model düz metinle yanıt verene kadar çıktıyı geri gönderir. İki uyarı geçerlidir. Her araca modele yazılmış bir docstring verin, çünkü model bir araç seçmek için bu metni okur. Ve ajanlarda bir özyineleme sınırı ayarlayın ki karışık bir çalıştırma krediyi harcamaya devam edemesin; LangGraph yapılandırmada recursion_limit kabul eder.
Ajan olmadan doğrudan kontrol için llm.bind_tools([word_count]) kullanın ve döndürülen mesajda .tool_calls'i kendiniz inceleyin.
JSON modu ile yapılandırılmış çıktı
Çıkarma işleri için JSON modu parametresini bind aracılığıyla iletin. İstem, modelin hangi anahtarları istediğinizi belirtmelidir, çünkü JSON modu yalnızca geçerli bir JSON nesnesi üretmeye teşvik eder.
import json
from langchain_core.prompts import ChatPromptTemplate
json_llm = llm.bind(response_format={"type": "json_object"})
prompt = ChatPromptTemplate.from_messages([
("system", "Return a JSON object with keys title, genre and summary."),
("human", "{idea}"),
])
chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)
Kullanmadan önce sonucu Pydantic veya düz bir anahtar kontrolü ile doğrulayın. Mod şema zorlamaz, bu nedenle eksik bir alan mümkündür ve daha net bir istemle yeniden deneme genellikle bunu düzeltir.
Akış ve eşzamanlılık
Akış, sunucu tarafından gönderilen olaylar üzerinden çalışır ve standart stream yöntemiyle birlikte kullanılır. Kullanım, akışın sonunda gönderilir.
for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
print(chunk.content, end="", flush=True)
Çok sayıda öğeyi işlerken, batch bunları eşzamanlı olarak çalıştırır ve burada limitler önemlidir. Tam anahtar 8 eşzamanlı istek ve dakika başına 300 istek sağlar. Deneme anahtarı 2 ve 60 sağlar. Akışlı bir istek, akış bitene kadar slotunu tutar. LangChain'in anahtarınızın izin verdiği miktarı aşmaması için bir sınır belirleyin:
prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})
Hâlâ HTTP 429 görürseniz, hata kodu hangi limite takıldığınızı söyler: dakikada istekler için rate_limited, aynı anda çok fazla için concurrency. Retry-After: 5 başlığına sahip bir 429 geçici aşırı yükü işaret eder. ChatOpenAI, bu hatalarda geri çekilme ile yeniden deneme yapan bir max_retries seçeneğine sahiptir; toplu işler için 3 veya 4 olarak ayarlayın.
Embedding uç noktası olmayan bir geri getirme zinciri
Bu API yalnızca üretimi kapsar, bu nedenle bir geri getirme zinciri iki sağlayıcı gerektirir: biri embedding için, diğeri sohbet adımı için. LangChain bunu kolaylaştırır, çünkü vektör mağazası ve sohbet modeli ayrı nesnelerdir. Belgelerinizi dizinlemek için yerel bir kütüphaneden veya başka bir hizmetten istediğiniz herhangi bir embedding modelini kullanın. Ardından alınan metni istem aracılığıyla sohbet modeline iletin.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
("human", "{question}"),
])
chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})
Burada top_chunks, getirici (retriever) bileşeninizin döndürdüğü her şeydir. Yalnızca önemli olan pasajlarla sınırlı tutun. 300 token'lık dört parça, çağrı başına 1.200 token ekler ki bu kabul edilebilir düzeydedir; ancak kırk parça 12.000 token ekler ve her isteği on kat daha ağır hale getirir.
Sorun giderme kontrol listesi
- Kimlik doğrulama hataları: anahtarın
api_keyiçinde olduğundan emin olun, farklı bir parametrede olmadığından veOPENAI_API_KEYortam değişkeninin geçirmek istediğiniz şeyi sessizce geçersiz kılmadığından emin olun. - Model bulunamadı: model kimliği tam olarak
uncensored'dir. Sunucunun neyi listelediğini görmek içinGET /v1/models'i çağırın. - Garip araç argümanları: ham argüman dizisini okuyun, araç tanımını sıkılaştırın ve ajan çalıştırmaları için sıcaklığı yaklaşık 0,2'ye düşürün.
- İzleme ve hata ayıklama: giden her istemi ve dönen her yanıtı görmek için yerel olarak LangChain'in ayrıntılı veya hata ayıklama modunu açın.
- Tekrarlanabilir testler: istem sürümlerini karşılaştırırken
seedve düşük bir sıcaklık iletin, böylece farklılıklar örneklem şansından değil, değişikliğinizden kaynaklansın.
Bir LangChain iş yükünün maliyeti
Faturalandırma ön ödemeli krediden token başına yapılır. Abonelik yoktur, başarısız veya reddedilen istekler için ücret alınmaz ve kredi süresi dolmaz. Yükleme işlemleri $20 ile $500 arasında tam tutarlarda, kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile yapılır; $50'den itibaren %5, $100'den itibaren %10 ve $200'den itibaren %15 bonus sağlanır. fiyatlandırma sayfası detayları içerir.
Bir örnek üzerinden çalışın. Bir destek botu bir günde 2.000 soruyu yanıtlar. Her istek yaklaşık 1.500 token (sistem istemi, alınan parçalar, soru) gönderir ve yaklaşık 250 token döndürür.
- Girdi: 2.000 x 1.500 = 3.000.000 token, yani 3 x $0,15 = $0,45.
- Çıktı: 2.000 x 250 = 500.000 token, yani 0,5 x $0,50 = $0,25.
- Toplam: 2.000 yanıt için günde $0,70 veya yanıt başına $0,00035.
Geri getirme zincirlerinde maliyetler artabilir, çünkü her ek getirilen parça, her çağrıda girdi token sayısını artırır. Yanıtlardan usage_metadata verilerini günlüğe kaydedin, ortalama istem boyutunu izleyin ve ölçeklendirmeye başlamadan önce parça sayısını azaltın. Daha ileri gitmek isterseniz API dokümantasyonu desteklenen tüm parametreleri listeler.
