4行でLangChainを接続
ホスティングなしでlangchainオープンソースモデルを使用したい場合、最短ルートはOpenAI互換APIです。LangChainのOpenAIチャットクラスは、エンドポイントが同じプロトコルを話している限り、誰が応答するかは問いません。base URLとキーを変更するだけで、残りのチェーン、プロンプト、エージェントはそのままで動作します。
このサービスは1つのオープンウェイトモデルをホストしており、独立したプロバイダによって運用され、合法的な成人の利用においてコンテンツ拒否なしで応答するようにチューニングされています。任意のモデルベンダの公式APIではなく、ベンダ間のルータでもありません。パッケージをインストールし、モデルオブジェクトを作成してください:
pip install langchain-openai langchain-core
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredmodelhub.com/v1",
api_key="YOUR_API_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a fantasy tavern.").content)
これが接続の全体です。実際のプロジェクトでは、キーを環境変数に保持し、ファイルに書き込むのではなくos.environで読み取ってください。まだキーを持っていない場合は、キーページでサインアップ方法とカード不要の$0.50の無料トライアルクレジットの取得方法を確認できます。
Node.jsとLangChain.js
JavaScriptパッケージも同じ考え方で、base URLは設定オブジェクトを通じて渡されます。
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.API_KEY,
temperature: 0.7,
configuration: { baseURL: "https://api.uncensoredmodelhub.com/v1" },
});
const reply = await llm.invoke("Summarize the plot of a heist film in two lines.");
console.log(reply.content);
404エラーやHTMLページが表示される場合、通常はbase URLが間違っています。末尾に/v1を付ける必要があります。裏側の2つのエンドポイントはPOST /v1/chat/completionsとGET /v1/modelsであり、LangChainのチャットモデルにはこれ以外に何も必要ありません。
LangChainのオープンソースモデルはホスト型の方がローカルより優れていますか?
LangChainはOllamaやローカルサーバー経由で、あなたのマシン上でオープンモデルを実行することもできます。この方法には明確な利点があり、正直に認めるべきでしょう。ローカルモデルはトークンごとの料金がかからず、オフラインで動作し、すべてのバイトをハードウェア上に保持します。その代償はハードウェアです。選択したモデルに十分なGPUメモリが必要で、ランタイムを維持し、スループットはマシンの性能に制限されます。
| 質問 | ローカルサーバー | このホスト型 API |
|---|---|---|
| 初期費用 | ハードウェアまたはレンタルGPU | なし;前払いクレジットは$20から |
| トークンごとのコスト | なし(ただし電力とハードウェアの摩耗あり) | 入力1Mあたり$0.15、出力1Mあたり$0.50 |
| コンテキスト長 | 利用可能なメモリに依存 | 100,000トークン |
| 同時実行 | 設定に依存 | フルキーの場合8 |
| データの場所 | あなたのマシン | ホスト型;プロンプトはトレーニングに使用されない |
一般的なパターンは、ホストエンドポイントでプロトタイプを作成し、実際のトークン数に基づいてローカル展開が適切かどうかを判断することです。両側ともOpenAIプロトコルをサポートしているため、切り替えはbase_urlの1行の変更で済み、構築したチェーンはそのまま維持されます。無検閲モデルとは何かのページで、チューニングが動作に与える影響について説明しています。
ツールとシンプルなエージェント
ツール呼び出しは通常のOpenAIスタイルのtoolsフィールドを通じて行われ、LangChainのbind_toolsはデコレータ付きのPython関数からそれを作成します。モデルはツール呼び出しリクエストを返し、結果はrole: "tool"メッセージとして返されます。
from langchain_core.tools import tool
from langgraph.prebuilt import create_react_agent
@tool
def word_count(text: str) -> int:
'''Count the words in a piece of text.'''
return len(text.split())
agent = create_react_agent(llm, [word_count])
result = agent.invoke({"messages": [("user", "How many words are in 'the quick brown fox jumps'?")]})
print(result["messages"][-1].content)
エージェントループはモデルを呼び出し、指示されたらツールを実行し、モデルがプレーンテキストで応答するまで出力を返します。2つの注意が必要です。ツールにはモデル向けに書かれたdocstringを必ず付けてください。これはツールを選択する際にモデルが読むテキストだからです。また、エージェントに再帰制限を設定し、混乱した実行がクレジットを使い続けられないようにしてください。LangGraphは設定にrecursion_limitを受け入れます。
エージェントなしで直接制御するには、llm.bind_tools([word_count])を使用し、返されたメッセージの.tool_callsを自分で確認してください。
JSON モードによる構造化出力
抽出ジョブには、bindを介してJSONモードパラメータを渡してください。JSONモードは有効なJSONオブジェクトを生成させることしか強制しないため、プロンプトで必要なキーをモデルに指示する必要があります。
import json
from langchain_core.prompts import ChatPromptTemplate
json_llm = llm.bind(response_format={"type": "json_object"})
prompt = ChatPromptTemplate.from_messages([
("system", "Return a JSON object with keys title, genre and summary."),
("human", "{idea}"),
])
chain = prompt | json_llm
raw = chain.invoke({"idea": "A lighthouse keeper finds a door in the sea floor."})
data = json.loads(raw.content)
使用する前にPydanticや単純なキーチェックで結果を検証してください。このモードはスキーマを強制しないため、フィールドが欠落する可能性があり、より明確なプロンプトで再試行することで通常は修正できます。
ストリーミングと同時実行
ストリーミングはサーバー送信イベント(SSE)経由で実行され、標準のstreamメソッドで動作します。使用量はストリームの最後に送信されます。
for chunk in llm.stream("Write a four-line poem about rain on a tin roof."):
print(chunk.content, end="", flush=True)
複数のアイテムを処理する際は、batchが並列実行するため、制限が重要になります。フルキーでは同時8リクエスト、1分あたり300リクエストが可能です。トライアルキーでは同時2リクエスト、1分あたり60リクエストです。ストリーミングリクエストはストリーミング終了までスロットを保持します。LangChainがキーの制限を超えないよう、上限を指定してください。
prompts = [f"Write a one-line tagline for product {i}." for i in range(40)]
results = llm.batch(prompts, config={"max_concurrency": 6})
それでもHTTP 429が表示される場合、エラーコードはどの制限に達したかを示します:rate_limitedは1分あたりのリクエスト数、concurrencyは一度に多すぎるリクエストを示します。Retry-After: 5ヘッダー付きの429は一時的な過負荷を示します。ChatOpenAIにはmax_retriesオプションがあり、バックオフ付きでそのようなエラーを再試行します。バッチジョブには3または4に設定してください。
埋め込みエンドポイントなしの取得チェーン
このAPIは生成のみをカバーするため、取得チェーンには2つのプロバイダが必要です:1つは埋め込み用、もう1つはチャットステップ用です。LangChainはベクトルストアとチャットモデルが別々のオブジェクトであるため、これを容易にします。ローカルライブラリや別のサービスから任意の埋め込みモデルを使用してドキュメントをインデックスしてください。次に、取得したテキストをプロンプトを通じてチャットモデルに渡します。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
prompt = ChatPromptTemplate.from_messages([
("system", "Answer using only the context. If the answer is not there, say so.\n\nContext:\n{context}"),
("human", "{question}"),
])
chain = prompt | llm | StrOutputParser()
answer = chain.invoke({"context": "\n\n".join(top_chunks), "question": "What is the refund window?"})
ここでtop_chunksはリトリーバーが返したものです。重要な少数の箇所に限定してください。300トークンのチャンク4つは1回の呼び出しで1,200トークンを追加しますが、40個のチャンクは12,000トークンを追加し、すべてのリクエストを10倍重くします。
トラブルシューティングチェックリスト
- 認証エラー:キーが
api_keyにあることを確認し、別のパラメータではないこと、またOPENAI_API_KEY環境変数が意図した値を上書きしていないことを確認してください。 - モデルが見つからない:モデルIDは正確に
uncensoredです。サーバーがリストしているモデルを確認するにはGET /v1/modelsを呼び出してください。 - 奇妙なツール引数:生の引数文字列を読み、ツール説明を絞り込み、エージェント実行時の温度を約0.2に下げます。
- トレースとデバッグ:ローカルでLangChainのverboseまたはdebugモードを有効にし、送信される各プロンプトと返される各応答を確認します。
- 再現可能なテスト:プロンプトバージョンを比較する際は
seedと低い温度を渡し、差分が変更によるものかサンプリングの偶然によるものかを確認できるようにします。
LangChainワークロードのコスト
請求は前払いクレジットからトークン単位で行われます。サブスクリプションはなく、失敗または拒否されたリクエストには課金されず、クレジットは期限切れになりません。チャージは$20から$500までの任意の整数金額で行え、暗号資産(TRC20上のUSDT、Base上のUSDC)で、$50以上で5%ボーナス、$100以上で10%ボーナス、$200以上で15%ボーナスが得られます。詳細は価格ページをご覧ください。
例を計算しましょう。サポートボットが1日に2,000件の質問に回答します。各リクエストは約1,500トークン(システムプロンプト、取得したスニペット、質問)を送信し、約250トークンを返します。
- 入力:2,000 x 1,500 = 3,000,000トークン、つまり3 x $0.15 = $0.45。
- 出力:2,000 x 250 = 500,000トークン、つまり0.5 x $0.50 = $0.25。
- 合計:1日$0.70、2,000件の回答で、1件あたり$0.00035。
検索チェーンではコストが増加する可能性があります。取得したチャンクが増えるほど、呼び出しごとにプロンプトのトークン数が増えるためです。レスポンスからusage_metadataをログに記録し、平均的なプロンプトサイズを確認した上で、スケーリング前にチャンク数を調整してください。さらに詳しく知りたい場合は、APIドキュメントにサポートされているすべてのパラメータが記載されています。
