Hubungkan LangChain dalam empat baris
Jika Anda ingin menggunakan model open source LangChain tanpa melakukan hosting apa pun, jalur terpendek adalah API kompatibel OpenAI. Kelas chat OpenAI LangChain tidak peduli siapa yang menjawab, selama endpoint berbicara protokol yang sama. Anda mengubah base URL dan kuncinya, dan sisa rantai, prompt, dan agent Anda tetap seperti semula.
Layanan ini meng-hosting satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun dan bukan router lintas vendor. Instal paketnya dan buat objek model:
pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
Itulah seluruh koneksinya. Simpan kunci ini dalam variabel lingkungan pada proyek nyata dan baca dengan os.environ daripada menuliskannya ke dalam file. Jika Anda belum memiliki kunci, halaman kunci menunjukkan cara mendaftar dan mengklaim kredit uji coba senilai $0,50 tanpa perlu kartu.
Node.js dan LangChain.js
Paket JavaScript mengikuti ide yang sama, dengan base URL yang diteruskan melalui objek konfigurasi.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.API_KEY,
temperature: 0.7,
configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});
const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);
Jika Anda melihat error 404 atau halaman HTML, base URL biasanya salah. Harus diakhiri dengan /v1. Dua endpoint di balik layar adalah POST /v1/chat/completions dan GET /v1/models, dan tidak ada yang lain diperlukan untuk model chat LangChain.
Apakah model open source di LangChain lebih baik di-hosting atau lokal?
LangChain juga dapat menjalankan model open source di mesin Anda sendiri, misalnya melalui Ollama atau server lokal. Jalur ini memiliki keunggulan nyata, dan jujur untuk mengatakannya. Model lokal tidak memiliki biaya per-token, bekerja secara offline, dan menyimpan setiap byte di perangkat keras Anda. Harganya adalah perangkat keras: Anda membutuhkan memori GPU yang cukup untuk model yang Anda pilih, Anda mempertahankan runtime, dan throughput dibatasi oleh mesin Anda.
| Pertanyaan | Server lokal | API Terhosting Ini |
|---|---|---|
| Biaya awal | Perangkat keras atau GPU yang disewa | Tidak ada; saldo prabayar mulai dari $20 |
| Biaya per-token | Tidak ada, tetapi ada penggunaan daya dan keausan perangkat keras | $0,15 per 1M masuk, $0,50 per 1M keluar |
| Jendela konteks | Tergantung pada memori yang Anda miliki | 100.000 token |
| Konkurensi | Tergantung pada konfigurasi Anda | 8 pada kunci penuh |
| Lokasi data | Mesin Anda | Di-hosting; prompt tidak digunakan untuk pelatihan |
Pola umum adalah melakukan prototipe terhadap endpoint yang dihosting, lalu memutuskan dengan jumlah token nyata apakah penerapan lokal masuk akal. Karena kedua sisi menggunakan protokol OpenAI, pengalihan hanya memerlukan perubahan satu baris pada base_url, dan rantai yang Anda buat tetap tidak tersentuh. Halaman tentang apa itu model tanpa sensor menjelaskan apa yang diubah penyesuaian terhadap perilaku.
Alat dan agen sederhana
Pemanggilan alat berjalan melalui bidang tools gaya OpenAI standar, dan bind_tools LangChain membuatnya untuk Anda dari fungsi Python yang dihiasi. Model mengembalikan permintaan panggilan alat, dan hasilnya kembali sebagai pesan role: "tool".
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
@tool
def word_count(text: str) -> int:
'''Count the words in a piece of text.'''
return len(text.split())
agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)
Loop agen memanggil model, menjalankan alat ketika diminta, dan mengirimkan output kembali hingga model menjawab dengan teks biasa. Ada dua peringatan. Berikan setiap alat docstring yang ditulis untuk model, karena teks itulah yang dibaca model untuk memilih alat. Dan tetapkan batas rekursi pada agen agar eksekusi yang bingung tidak terus menghabiskan saldo; LangGraph menerima recursion_limit dalam konfigurasi.
Untuk kendali langsung tanpa agen, gunakan llm.bind_tools([word_count]) dan periksa sendiri .tool_calls pada pesan yang dikembalikan.
Output terstruktur dengan mode JSON
Untuk pekerjaan ekstraksi, teruskan parameter mode JSON melalui bind. Prompt harus memberi tahu model kunci apa yang Anda inginkan, karena mode JSON hanya mendorongnya untuk menghasilkan objek JSON yang valid.
import json
from langchain_core.prompts import ChatPromptTemplate
json_llm = llm.bind(response_format={"type": "json_object"})
prompt = ChatPromptTemplate.from_messages([
("system", "Return a JSON object with keys title, genre and summary."),
("human", "{idea}"),
])
chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)
Validasi hasilnya dengan Pydantic atau pemeriksaan kunci biasa sebelum menggunakannya. Mode ini tidak memaksakan skema, sehingga field yang hilang mungkin terjadi, dan retry dengan prompt yang lebih jelas biasanya memperbaikinya.
Streaming dan konkurensi
Streaming berjalan di atas server-sent events dan bekerja dengan metode stream standar. Penggunaan dikirim di akhir stream.
for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
print(chunk.content, end="", flush=True)
Saat Anda memproses banyak item, batch menjalankannya secara paralel, dan di sinilah batas-batas menjadi penting. Kunci penuh memungkinkan 8 permintaan konkuren dan 300 permintaan per menit. Kunci uji coba memungkinkan 2 dan 60. Permintaan streaming memegang slotnya hingga stream berakhir. Teruskan batas agar LangChain tidak melebihi apa yang diizinkan kunci Anda:
prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})
Jika Anda masih melihat HTTP 429, kode error memberi tahu Anda batas mana yang Anda capai: rate_limited untuk permintaan per menit, concurrency untuk terlalu banyak sekaligus. 429 dengan header Retry-After: 5 menandai kelebihan beban sementara. ChatOpenAI memiliki opsi max_retries yang mencoba lagi pada error tersebut dengan backoff; atur menjadi 3 atau 4 untuk pekerjaan batch.
Rantai retrieval tanpa endpoint embedding
API ini hanya mencakup generasi, sehingga rantai retrieval membutuhkan dua penyedia: satu untuk embedding dan satu untuk langkah chat. LangChain memudahkan hal itu, karena vector store dan model chat adalah objek terpisah. Gunakan model embedding apa pun yang Anda suka, dari pustaka lokal atau layanan lain, untuk mengindeks dokumen Anda. Kemudian teruskan teks yang diambil ke model chat melalui prompt.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
("human", "{question}"),
])
chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})
Di sini top_chunks adalah apa pun yang dikembalikan oleh retriever Anda. Batasi pada beberapa bagian yang penting. Empat chunk 300 token menambahkan 1.200 token per panggilan, yang baik-baik saja, tetapi empat puluh chunk menambahkan 12.000 dan membuat setiap permintaan sepuluh kali lebih berat.
Daftar periksa pemecahan masalah
- Error autentikasi: konfirmasi kunci ada di
api_key, bukan di parameter lain, dan tidak ada variabel lingkunganOPENAI_API_KEYyang diam-diam menimpa apa yang ingin Anda teruskan. - Model tidak ditemukan: ID model adalah tepat
uncensored. PanggilGET /v1/modelsuntuk melihat apa yang terdaftar server. - Argumen alat aneh: baca string argumen mentah, kencangkan deskripsi alat, dan turunkan suhu menjadi sekitar 0,2 untuk eksekusi agen.
- Pelacakan dan debugging: aktifkan mode verbose atau debug LangChain secara lokal untuk melihat setiap prompt yang keluar dan setiap balasan yang masuk.
- Uji yang dapat direproduksi: teruskan
seeddan suhu rendah saat Anda membandingkan versi prompt, sehingga perbedaan berasal dari perubahan Anda dan bukan dari keberuntungan sampling.
Biaya beban kerja LangChain
Penagihan dihitung per token dari saldo prabayar. Tidak ada langganan, permintaan yang gagal atau ditolak tidak dikenakan biaya, dan saldo tidak pernah kedaluwarsa. Top-up dapat berupa jumlah bulat dari $20 hingga $500, dengan kripto (USDT pada TRC20, USDC pada Base), dengan bonus 5% dari $50, 10% dari $100, dan 15% dari $200. Halaman harga memiliki detailnya.
Mari hitung sebuah contoh. Bot dukungan menjawab 2.000 pertanyaan dalam sehari. Setiap permintaan mengirim sekitar 1.500 token (prompt sistem, cuplikan yang diambil, pertanyaan) dan mengembalikan sekitar 250 token.
- Input: 2.000 x 1.500 = 3.000.000 token, jadi 3 x $0,15 = $0,45.
- Output: 2.000 x 250 = 500.000 token, jadi 0,5 x $0,50 = $0,25.
- Total: $0,70 per hari untuk 2.000 jawaban, atau $0,00035 setiap satu.
Rantai retrieval adalah tempat biaya dapat menyimpang, karena setiap chunk tambahan yang diambil menambahkan token input ke setiap panggilan. Log usage_metadata dari respons, pantau ukuran rata-rata prompt, dan potong jumlah chunk sebelum Anda melakukan scale up. Dokumentasi API mencantumkan setiap parameter yang didukung jika Anda ingin melangkah lebih jauh.
