JA ▾

Uncensored Model HubLLMホスティングAPI:提供されるものとスキップされるもの

LLMホスティングAPI:提供されるものとスキップされるもの

LLMホスティングAPIとは、GPUの所有、モデルの読み込み、サーバーの稼働を他者が行い、HTTPリクエストを送信するものです。トークンごとに課金され、インフラストラクチャの手配を省略できます。このページでは、処理される内容、あなたが処理する必要がある内容、および3つの言語での最初のリクエストについて説明します。

更新日:

ホストされたLLM APIを表す、1本の光るケーブルでラップトップに接続されたガラス製のサーバータワー
モジュール化されたブロックとサーバーキューを接続するガラスチェーン、オープンウェイトモデルAPIとのLangChainを示すイラスト

主要ポイント

  1. ホスティングにはGPU、モデルの読み込み、バッチ処理、スケーリング、HTTPエンドポイントが含まれます。プロンプトとキーはお客様が用意します。
  2. インターフェースはOpenAI互換です:ベースURLをhttps://api.uncensoredmodelhub.com/v1に変更し、モデルuncensoredを使用してください。
  3. ストリーミング、関数呼び出し、JSONモードがサポートされています。画像、音声、埋め込み、ファインチューニングのエンドポイントはありません。
  4. 計画に組み込むための制限: コンテキスト100,000トークン、同時8リクエスト、フルキーで1分あたり300リクエスト。

ホスティングが処理する内容

本番環境で言語モデルを実行するには、ウェイトのダウンロード以上の作業が必要です。ホストされたAPIは、コードが処理する必要のない以下の作業を引き受けます。

ホスト側が処理お客様が処理
GPU、ドライバー、推論サーバープロンプトの作成とテスト
モデルの読み込みとウォームアップ維持temperature、max_tokens、その他の設定の選択
複数のリクエストのバッチ処理429応答のリトライロジック
認証とレート制限APIキーの秘密保持
メータリングと前払い残高支出の監視
サービング側のソフトウェアアップデートアプリでのモデル出力の処理

ここで提供されるサービスは、1つのオープンウェイトモデルを提供するOpenAI互換チャットAPIであり、独立したプロバイダによって運用されています。任意のモデルベンダーの公式APIではなく、複数のモデルをルーティングするルーターでもありません。テキストのみ: 画像、音声、動画の生成、埋め込み、ファインチューニングはありません。

最初のリクエスト

Googleまたはメールアドレスとパスワードでアカウントを作成し、APIキーページからキーをコピーしてください。ワンクリックトライアルを請求すると、カードなしで7日間有効な$0.50のクレジットが追加されます。

curl

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}]
  }'

Python

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a hosted LLM API does in two sentences."}],
)
print(resp.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredmodelhub.com/v1",
  apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Explain what a hosted LLM API does in two sentences." }],
});
console.log(resp.choices[0].message.content);

同じエンドポイントにはPOST /v1/responsesとGET /v1/modelsも含まれます。パラメータはドキュメントに記載されています。

ストリーミング、ツール、JSONモード

開発者がチャットAPIから使用する機能のほとんどが利用可能です。

  • ストリーミング。stream: trueを設定すると、トークンが生成されるにつれてサーバー送信イベントを受け取ります。使用状況は最後に報告されます。チャットUIはこの機能に依存しています。
  • ツール呼び出し。toolsとtool_choiceを渡す、tool_callsを返信から読み取る(ストリーミングも可能)、role: "tool"でメッセージとして結果を返す。
  • JSONモード。response_format: {"type":"json_object"}は、モデルがJSONオブジェクトを返すようにし、抽出や分類に役立ちます。
  • サンプリング制御。temperature、top_p、stop、seed、ペナルティはそのまま渡されます。

Pythonでのストリーミング呼び出しは次のようになります。

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about servers."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

LangChainなど、OpenAI形式をサポートするライブラリは、ベースURLを変更するだけで動作します。当社のオープンソースモデルでのLangChainのページに例があります。

制限と対処法

ホスティングは共有されるため、制限があります。APIのループを構築する前に制限を知っておいてください。

  • コンテキスト: 100,000トークン、プロンプトと生成テキストを含む。生成テキストはプロンプトで未使用となったトークンを使用でき、max_tokensはオプションです。
  • 同時実行とレート: 通常キーは同時8リクエスト、1分あたり300リクエストまで許可します。トライアルキーは同時2リクエスト、1分あたり60リクエストまでです。ストリーミングリクエストは、ストリーミングが終了するまでスロットを占有します。
  • ボディサイズ:リクエストあたり8 MB。
  • 429応答: エラーコードは、1分あたりのリクエスト数超過に対してrate_limited、同時リクエスト数超過に対してconcurrencyです。一時的な過負荷時には、Retry-After: 5ヘッダーが付加されます。

待機して再試行する単純なリトライは、ほとんどのアプリで十分です。プロンプトが長すぎることが原因でリクエストが失敗した場合、コンテキストウィンドウ超過エラーのページで、要約や履歴の切り捨てなどの修正方法が説明されています。

レスポンスヘッダーは監視に役立ちます:サポートチケットで引用するためのX-Request-Id、上限値用のX-RateLimit-Limit-RequestsとX-RateLimit-Limit-Concurrency、残高用のX-Balance-USD。

既存アプリの移行

すでにOpenAIクライアントを使用しているコードであれば、書き換える必要はほとんどありません。公式SDKは2つの環境変数を読み取るため、コード外で切り替えが可能です。

export OPENAI_BASE_URL="https://api.uncensoredmodelhub.com/v1"
export OPENAI_API_KEY="YOUR_KEY"

次に、モデルを指定するコードのすべての箇所でモデル名をuncensoredに設定します。本番環境にデプロイする前に確認すべきことは3つあります。

  • 依存する機能。 チャット、ストリーミング、ツール、JSONモードは動作します。埋め込み、画像、音声のエンドポイントへの呼び出しは、このサービスがテキスト専用であるため動作しません。
  • プロンプトの長さ。合計100,000トークンを超えるものは、事前に切り捨てるか要約する必要があります。
  • 同時実行数。 アプリが同時に8リクエストより多いリクエストを送信できる場合、ピーク時に429エラーを発生させないよう、クライアントの前にキューまたはセマフォを配置してください。

キーはサーバーに保持してください。ブラウザコードやモバイルアプリにバンドルしないでください。キーを抽出した誰でも残高を使用できるためです。環境変数またはシークレットマネージャーに保存し、漏洩した場合はローテーションしてください。

コストと請求

請求はトークンごと:入力1Mあたり$0.15、出力1Mあたり$0.50。クレジットは前払いで期限切れにならず、サブスクリプションもありません。失敗または拒否されたリクエストは課金されません。

簡単な例。2,000トークンの入力と500トークンの出力を持つリクエストのコストは、2,000 × $0.15 / 1M + 500 × $0.50 / 1M = $0.0003 + $0.00025 = $0.00055です。これは$1あたり1,818回のリクエストに相当します。チャージは$20から$500までの任意の整数金額で、暗号資産(TRC20上のUSDT、Base上のUSDC)で可能で、$50以上で+5%、$100以上で+10%、$200以上で+15%のボーナスが付与されます。価格ページをご覧ください。

コードで残高を確認するには、GET /v1/balanceまたはOpenAIスタイルのGET /v1/dashboard/billing/credit_grantsを呼び出すか、任意のレスポンスからX-Balance-USDを読み取ってください。

ホスティングまたは自前運用:クイックチェック

迅速にリリースしたい場合、トラフィックが不均一な場合、またはGPUの運用をしたくない場合にホスティングAPIが適しています。モデルの選択とファインチューニングの能力を手放すことになります。プロンプトはプロバイダに送信されますが、トレーニングには使用されません。

自前のハードウェアで実行することと比較する場合は、上記のトークンごとの料金と自前のハードウェア見積もりを比較してください。モデルタイプについては、無検閲AIモデルとは何かをお読みください。コンテンツ面では、このモデルは法的な成人向け利用に対して拒否なしで回答するようにチューニングされており、1つの厳格な制限があります:未成年者を含む性的なコンテンツは禁止です。

質問と回答

LLMホスティングAPIとは?

独自のGPUで言語モデルを実行し、HTTP経由で公開するサービスです。サーバーの管理は不要で、プロンプトを送信し、トークンごとに課金されます。

OpenAI SDKと互換性がありますか?

はい。Base URLをhttps://api.uncensoredmodelhub.com/v1 に設定し、API キーとモデルIDのuncensoredを使用してください。

レート制限は?

フルキーでは同時8リクエスト、1分あたり300リクエストが可能です。トライアルキーでは同時2リクエスト、1分あたり60リクエストです。制限を超えるとHTTP 429が返されます。

ファインチューニングや画像生成はできますか?

いいえ。ファインチューニング、埋め込み、画像・音声・動画生成を含まないテキスト専用APIです。

キーはフォーム1つで入手可能です

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得