ID ▾

Uncensored Model HubModel Open Source LangChain melalui API Tanpa Sensor

Model Open Source LangChain melalui API Tanpa Sensor

LangChain bekerja dengan model open source melalui server kompatibel OpenAI, dan API yang di-hosting menghemat Anda dari menjalankan GPU sendiri. Berikut adalah setup di Python dan Node, dengan tools, agent, output JSON, streaming, dan rencana konkurensi.

Diperbarui

Mata rantai kaca yang menghubungkan blok modular ke kubus server, menggambarkan LangChain dengan API model bobot terbuka

Poin utama

  1. Gunakan ChatOpenAI dengan base_url yang diatur ke https://api.uncensoredmodelhub.com/v1 dan model uncensored.
  2. Pemanggilan alat, mode JSON, dan streaming semuanya bekerja melalui antarmuka LangChain standar.
  3. Batasi max_concurrency di 8 untuk kunci penuh, 2 untuk kunci uji coba, untuk menghindari error 429.
  4. Harga adalah $0,15 per 1M token input dan $0,50 per 1M token output, tanpa langganan.

Hubungkan LangChain dalam empat baris

Jika Anda ingin menggunakan model open source LangChain tanpa melakukan hosting apa pun, jalur terpendek adalah API kompatibel OpenAI. Kelas chat OpenAI LangChain tidak peduli siapa yang menjawab, selama endpoint berbicara protokol yang sama. Anda mengubah base URL dan kuncinya, dan sisa rantai, prompt, dan agent Anda tetap seperti semula.

Layanan ini meng-hosting satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun dan bukan router lintas vendor. Instal paketnya dan buat objek model:

pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a fantasy tavern.").content)

Itulah seluruh koneksinya. Simpan kunci ini dalam variabel lingkungan pada proyek nyata dan baca dengan os.environ daripada menuliskannya ke dalam file. Jika Anda belum memiliki kunci, halaman kunci menunjukkan cara mendaftar dan mengklaim kredit uji coba senilai $0,50 tanpa perlu kartu.

Node.js dan LangChain.js

Paket JavaScript mengikuti ide yang sama, dengan base URL yang diteruskan melalui objek konfigurasi.

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.API_KEY,
  temperature: 0.7,
  configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});

const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);

Jika Anda melihat error 404 atau halaman HTML, base URL biasanya salah. Harus diakhiri dengan /v1. Dua endpoint di balik layar adalah POST /v1/chat/completions dan GET /v1/models, dan tidak ada yang lain diperlukan untuk model chat LangChain.

Apakah model open source di LangChain lebih baik di-hosting atau lokal?

LangChain juga dapat menjalankan model open source di mesin Anda sendiri, misalnya melalui Ollama atau server lokal. Jalur ini memiliki keunggulan nyata, dan jujur untuk mengatakannya. Model lokal tidak memiliki biaya per-token, bekerja secara offline, dan menyimpan setiap byte di perangkat keras Anda. Harganya adalah perangkat keras: Anda membutuhkan memori GPU yang cukup untuk model yang Anda pilih, Anda mempertahankan runtime, dan throughput dibatasi oleh mesin Anda.

PertanyaanServer lokalAPI Terhosting Ini
Biaya awalPerangkat keras atau GPU yang disewaTidak ada; saldo prabayar mulai dari $20
Biaya per-tokenTidak ada, tetapi ada penggunaan daya dan keausan perangkat keras$0,15 per 1M masuk, $0,50 per 1M keluar
Jendela konteksTergantung pada memori yang Anda miliki100.000 token
KonkurensiTergantung pada konfigurasi Anda8 pada kunci penuh
Lokasi dataMesin AndaDi-hosting; prompt tidak digunakan untuk pelatihan

Pola umum adalah melakukan prototipe terhadap endpoint yang dihosting, lalu memutuskan dengan jumlah token nyata apakah penerapan lokal masuk akal. Karena kedua sisi menggunakan protokol OpenAI, pengalihan hanya memerlukan perubahan satu baris pada base_url, dan rantai yang Anda buat tetap tidak tersentuh. Halaman tentang apa itu model tanpa sensor menjelaskan apa yang diubah penyesuaian terhadap perilaku.

Alat dan agen sederhana

Pemanggilan alat berjalan melalui bidang tools gaya OpenAI standar, dan bind_tools LangChain membuatnya untuk Anda dari fungsi Python yang dihiasi. Model mengembalikan permintaan panggilan alat, dan hasilnya kembali sebagai pesan role: "tool".

from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent

@tool
def word_count(text: str) -> int:
    '''Count the words in a piece of text.'''
    return len(text.split())

agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)

Loop agen memanggil model, menjalankan alat ketika diminta, dan mengirimkan output kembali hingga model menjawab dengan teks biasa. Ada dua peringatan. Berikan setiap alat docstring yang ditulis untuk model, karena teks itulah yang dibaca model untuk memilih alat. Dan tetapkan batas rekursi pada agen agar eksekusi yang bingung tidak terus menghabiskan saldo; LangGraph menerima recursion_limit dalam konfigurasi.

Untuk kendali langsung tanpa agen, gunakan llm.bind_tools([word_count]) dan periksa sendiri .tool_calls pada pesan yang dikembalikan.

Output terstruktur dengan mode JSON

Untuk pekerjaan ekstraksi, teruskan parameter mode JSON melalui bind. Prompt harus memberi tahu model kunci apa yang Anda inginkan, karena mode JSON hanya mendorongnya untuk menghasilkan objek JSON yang valid.

import json
from langchain_core.prompts import ChatPromptTemplate

json_llm = llm.bind(response_format={"type": "json_object"})

prompt = ChatPromptTemplate.from_messages([
    ("system", "Return a JSON object with keys title, genre and summary."),
    ("human", "{idea}"),
])

chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)

Validasi hasilnya dengan Pydantic atau pemeriksaan kunci biasa sebelum menggunakannya. Mode ini tidak memaksakan skema, sehingga field yang hilang mungkin terjadi, dan retry dengan prompt yang lebih jelas biasanya memperbaikinya.

Streaming dan konkurensi

Streaming berjalan di atas server-sent events dan bekerja dengan metode stream standar. Penggunaan dikirim di akhir stream.

for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
    print(chunk.content, end="", flush=True)

Saat Anda memproses banyak item, batch menjalankannya secara paralel, dan di sinilah batas-batas menjadi penting. Kunci penuh memungkinkan 8 permintaan konkuren dan 300 permintaan per menit. Kunci uji coba memungkinkan 2 dan 60. Permintaan streaming memegang slotnya hingga stream berakhir. Teruskan batas agar LangChain tidak melebihi apa yang diizinkan kunci Anda:

prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})

Jika Anda masih melihat HTTP 429, kode error memberi tahu Anda batas mana yang Anda capai: rate_limited untuk permintaan per menit, concurrency untuk terlalu banyak sekaligus. 429 dengan header Retry-After: 5 menandai kelebihan beban sementara. ChatOpenAI memiliki opsi max_retries yang mencoba lagi pada error tersebut dengan backoff; atur menjadi 3 atau 4 untuk pekerjaan batch.

Rantai retrieval tanpa endpoint embedding

API ini hanya mencakup generasi, sehingga rantai retrieval membutuhkan dua penyedia: satu untuk embedding dan satu untuk langkah chat. LangChain memudahkan hal itu, karena vector store dan model chat adalah objek terpisah. Gunakan model embedding apa pun yang Anda suka, dari pustaka lokal atau layanan lain, untuk mengindeks dokumen Anda. Kemudian teruskan teks yang diambil ke model chat melalui prompt.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
    ("human", "{question}"),
])

chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})

Di sini top_chunks adalah apa pun yang dikembalikan oleh retriever Anda. Batasi pada beberapa bagian yang penting. Empat chunk 300 token menambahkan 1.200 token per panggilan, yang baik-baik saja, tetapi empat puluh chunk menambahkan 12.000 dan membuat setiap permintaan sepuluh kali lebih berat.

Daftar periksa pemecahan masalah

  • Error autentikasi: konfirmasi kunci ada di api_key, bukan di parameter lain, dan tidak ada variabel lingkungan OPENAI_API_KEY yang diam-diam menimpa apa yang ingin Anda teruskan.
  • Model tidak ditemukan: ID model adalah tepat uncensored. Panggil GET /v1/models untuk melihat apa yang terdaftar server.
  • Argumen alat aneh: baca string argumen mentah, kencangkan deskripsi alat, dan turunkan suhu menjadi sekitar 0,2 untuk eksekusi agen.
  • Pelacakan dan debugging: aktifkan mode verbose atau debug LangChain secara lokal untuk melihat setiap prompt yang keluar dan setiap balasan yang masuk.
  • Uji yang dapat direproduksi: teruskan seed dan suhu rendah saat Anda membandingkan versi prompt, sehingga perbedaan berasal dari perubahan Anda dan bukan dari keberuntungan sampling.

Biaya beban kerja LangChain

Penagihan dihitung per token dari saldo prabayar. Tidak ada langganan, permintaan yang gagal atau ditolak tidak dikenakan biaya, dan saldo tidak pernah kedaluwarsa. Top-up dapat berupa jumlah bulat dari $20 hingga $500, dengan kripto (USDT pada TRC20, USDC pada Base), dengan bonus 5% dari $50, 10% dari $100, dan 15% dari $200. Halaman harga memiliki detailnya.

Mari hitung sebuah contoh. Bot dukungan menjawab 2.000 pertanyaan dalam sehari. Setiap permintaan mengirim sekitar 1.500 token (prompt sistem, cuplikan yang diambil, pertanyaan) dan mengembalikan sekitar 250 token.

  • Input: 2.000 x 1.500 = 3.000.000 token, jadi 3 x $0,15 = $0,45.
  • Output: 2.000 x 250 = 500.000 token, jadi 0,5 x $0,50 = $0,25.
  • Total: $0,70 per hari untuk 2.000 jawaban, atau $0,00035 setiap satu.

Rantai retrieval adalah tempat biaya dapat menyimpang, karena setiap chunk tambahan yang diambil menambahkan token input ke setiap panggilan. Log usage_metadata dari respons, pantau ukuran rata-rata prompt, dan potong jumlah chunk sebelum Anda melakukan scale up. Dokumentasi API mencantumkan setiap parameter yang didukung jika Anda ingin melangkah lebih jauh.

Tanya jawab

Kelas LangChain mana yang saya gunakan untuk API ini?

Gunakan ChatOpenAI dari langchain-openai di Python atau @langchain/openai di JavaScript. Atur model ke uncensored dan arahkan base_url ke https://api.uncensoredmodelhub.com/v1.

Apakah mendukung agen dan pemanggilan alat?

Ya. Pemanggilan alat menggunakan format alat bergaya OpenAI, sehingga bind_tools dan agen LangGraph berfungsi. Validasi argumen alat sendiri, karena model mengembalikannya sebagai teks.

Berapa besar jendela konteks untuk rantai LangChain?

100.000 token, dipakai bersama oleh prompt dan completion. Buffer memori panjang dan banyak potongan yang diambil menguranginya, jadi pangkas riwayat di rantai Anda.

Apakah embedding tersedia untuk vector store saya?

Tidak. API ini hanya untuk obrolan teks, tanpa embedding, gambar, audio, atau fine-tuning. Gunakan penyedia embedding terpisah untuk pengambilan dan API ini untuk langkah generasi.

Kunci Anda hanya satu formulir lagi

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API