AR ▾

Uncensored Model Hubاستضافة LLM محليًا مقابل API: التكلفة والجهد ونقطة التعادل

استضافة LLM محليًا مقابل API: التكلفة والجهد ونقطة التعادل

سؤال الاستضافة المحلية مقابل API يتعلق بالحسابات إلى حد كبير ومراجعة صادقة لوقتك الخاص. تشغيل النموذج بنفسك يمنحك التحكم وفاتورة ثابتة؛ بينما يمنحك الـ API صفر إعداد وفاتورة تتبع الاستخدام. إليك كيفية تحديد أيهما الأفضل لحجم استخدامك.

تم التحديث

ميزان يزن رف خادم مقابل عقدة سحابية وعملات معدنية، لمقارنة الاستضافة المحلية مع API
سلاسل زجاجية تربط كتلًا معيارية بمكعب خادم، توضح LangChain مع واجهة برمجة تطبيقات نموذج مفتوح الأوزان

نقاط رئيسية

  1. يحتاج النموذج إلى حوالي 0.5 بايت لكل معامل عند 4 بت و2 بايت عند 16 بت، قبل التخزين المؤقت والأعباء الإضافية، لذا يحتاج نموذج 70B إلى حوالي 35 جيجابايت إلى 140 جيجابايت من ذاكرة GPU.
  2. عند $0.15 لكل 1M رمز مدخل و$0.50 لكل 1M رمز مخرج، تكلف 100M رمز مدخل و20M رمز مخرج شهريًا $25.
  3. تفوز الاستضافة المحلية في الضبط الدقيق، الاستخدام دون اتصال وحجم الاستخدام الثابت العالي جدًا؛ بينما يفوز الـ API في حركة المرور المنخفضة أو المتقطعة.
  4. احسب ساعات عملك: التحديثات، برامج التشغيل والمراقبة جزء من التكلفة.

الإجابة القصيرة

بالنسبة لمعظم الأفراد والفرق الصغيرة، تكون واجهة برمجة التطبيقات أرخص حتى يكون حجم المرور مرتفعاً ومستقراً. في قرارات الاستضافة الذاتية لنموذج اللغة الكبير مقابل واجهة برمجة التطبيقات، المتغير الحاسم هو معدل الاستخدام: وحدة معالجة الرسومات التي تدفع ثمنها على مدار الساعة تكلف نفس المبلغ سواء كانت تخدم مليون رمز أو عشرة. تفرض واجهة برمجة التطبيقات المدفوعة حسب الرمز فقط مقابل الرموز المستخدمة.

تكون الاستضافة المحلية منطقية عندما تحتاج إلى ضبط النموذج الدقيق، عندما لا يمكن للبيانات مغادرة شبكتك، عندما يجب عليك تشغيل نموذج معين، أو عندما يكون لديك حجم استخدام ثقيل ومستمر وشخص لتشغيل الجهاز. يكون الـ API منطقيًا عندما تريد البدء في العمل بعد ظهر يوم واحد، عندما يكون الاستخدام غير متساوٍ، أو عندما يقوم شخص واحد بكل شيء.

يتضمن باقي هذا المقال أرقاماً يمكنك إعادة إنتاجها. لا يورد أسعار الأجهزة أو السحابة الإلكترونية، لأنّها متقلّبة؛ ستضيف أنت تقدير التكلفة الخاص بك إلى المعادلات.

ما يحتاجه النموذج فعلياً من عتاد

القيود الرئيسيّة هي ذاكرة وحدات معالجة الرسومات. تستهلك الأوزان وحدها تقريباً parameters × bytes per parameter:

حجم النموذج16-bit (2 bytes)8-bit (1 byte)4-bit (0.5 bytes)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

هذا هو الحد الأدنى. تحتاج أيضاً إلى ذاكرة مؤقتة للانتباه، والتي تتزايد مع طول السياق وعدد الطلبات المتزامنة، بالإضافة إلى عبء التشغيل. خدمة سياق يحتوي على 100,000 رمز لعدة مستخدمين في وقت واحد قد تتطلب ذاكرة أكبر بكثير من الأوزان، وتعتمد الأرقام على بنية النموذج. تعمل النماذج المكمّنة الأصغر على بطاقة رسومات مستهلك واحدة؛ بينما تحتاج النماذج الكبيرة إلى عدة بطاقات رسومات أو عقدة مستأجرة، بالإضافة إلى خادم استنتاج مثل vLLM أو llama.cpp لتجميع الطلبات.

يوفر التكميم إلى 4 بت الذاكرة على حساب بعض الجودة، ويختلف الفقدان حسب النموذج والمهمة. يجب عليك اختباره على موجّهاتك الخاصة.

العمل غير المضمّن في اقتباس العتاد

العتاد هو التكلفة الظاهرة. الجزء الأقل ظهوراً هو العمليات:

  • الإعداد. برامج التشغيل، إصدارات CUDA، خادم الاستنتاج، طبقة متوافقة مع OpenAI، المصادقة ووكيل عكسي. غالباً ما يستغرق الإعداد الأولي القادر على العمل يوماً أو أكثر؛ ويستغرق الإعداد الإنتاجي وقتاً أطول.
  • الضبط. أحجام الدفعات، حدود السياق، إعدادات الذاكرة والافتراضيات في أخذ العينات تحدد ما إذا كنت تخدم 2 مستخدم أو 20.
  • التحديثات. تصل إصدارات جديدة من النماذج، وتحديثات الأمان، وإصدارات خادم الاستنتاج بانتظام وقد تسبب أعطالاً.
  • المراقبة. يجب أن يلاحظ شخص ما نفاد ذاكرة وحدة معالجة الرسومات في الليل.
  • وقت الخمول. الآلة التي لا تُستخدم لا تزال تكلف الكهرباء أو الإيجار.

قدّر قيمة وقتك بالساعة وأضف ما يقارب أربع إلى ثماني ساعات شهرياً من الصيانة. غالباً ما يتجاوز هذا الرقم فاتورة الكهرباء في النشر الصغير.

تكلفة الـ API لنفس الحجم

تفرض هذه الـ API $0.15 لكل 1M رمز مدخل و $0.50 لكل 1M رمز مخرج، من رصيد مسبق الدفع لا ينتهي. لا يوجد اشتراك، ولا تُفرض رسوم على الطلبات الفاشلة أو المرفوضة. أمثلة محسوبة، شهراً بشهر:

الرموز الشهرية (مدخل / مخرج)تكلفة المدخلاتتكلفة المخرجاتالمجموع
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

لخليط بنسبة 5 إلى 1 بين المدخلات والمخرجات، تكلف 6 ملايين رمز 5 × $0.15 + 1 × $0.50 = $1.25، أي حوالي $0.21 لكل مليون رمز مختلطة. سيختلف خليطك، لذا أعد حسابه باستخدام متوسطاتك الخاصة. انظر إلى صفحة التسعير لمعرفة مبالغ الشحن والمكافآت.

اعثر على نقطة التعادل

اجمع كل ما ستدفعه شهرياً لاستضافة ذاتية: تكلفة العتاد مقسوماً على الأشهر التي ستستخدمها، أو رسوم الإيجار؛ الكهرباء؛ وقيمة ساعات صيانتك. ليكن المجموع F. ثم:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

كل $100 من التكلفة الثابتة الشهرية تعادل حوالي 480M رمز على الـ API بهذا الخليط. إذا كان حركة المرور الفعلية أقل بكثير من نقطة التعادل، وهو ما ينطبق على معظم المشاريع الجانبية والأدوات الداخلية والمنتجات الصغيرة، فإن الـ API أرخص. إذا كان أعلى بكثير وثابتًا، فقد يكون امتلاك الخادم هو الخيار الأفضل. تحقق من هذا المقارنة باستخدام الأرقام الحالية، لأن الجانبين يتغيران.

تذكر أن سعة الاستضافة الذاتية تمثل أيضًا سقفًا. الخادم الواحد يخدم عدداً محدوداً من الطلبات في وقت واحد. باستخدام مفتاح كامل هنا، يُسمح بـ 8 طلبات متزامنة و300 طلب في الدقيقة، والسعة الكامنة وراءها ليست مشكلتك.

ما تفقده مع واجهة برمجة التطبيقات (API) المستضافة

واجهة برمجة التطبيقات (API) ليست خدمة مجانية، وبعض القيود تستحق أن تُذكر بوضوح.

  • نموذج واحد. تعمل هذه الخدمة بنموذج مفتوح الأوزان واحد من مزود مستقل، ومعرف النموذج هو uncensored. لا يمكنك تبديله أو تحميل أوزانك الخاصة.
  • النصوص فقط: لا صور، ولا صوت، ولا فيديو، ولا تضمينات (embeddings)، ولا تدريب دقيق (fine-tuning).
  • سياق يتسع لـ 100,000 رمز (token)، يشمل الموجّه (prompt) والإكمال (completion).
  • تغادر الموجّهات (prompts) شبكتك. لا تُستخدم للتدريب، ولكن إذا كانت السياسة تتطلب معالجة داخل المؤسسة (on-premises)، فإن الاستضافة الذاتية هي الحل.

في المقابل، تحصل على البث المتدفق، واستدعاء الأدوات، ووضع JSON خلف واجهة OpenAI القياسية، لذا فإن الشيفرة الحالية تعمل مع تغيير في URL الأساسي. تساعد الأطر أيضاً؛ يوضح ملاحظتنا حول استخدام النماذج مفتوحة المصدر مع LangChain كيفية توجيه إطار عمل إلى نقطة نهاية مثل هذه.

طريقة رخيصة لاتخاذ القرار

لا تشتري عتادًا للتحقق مما إذا كنت بحاجة إليه. شغّل حمل العمل الحقيقي الخاص بك عبر واجهة برمجة التطبيقات أولاً، وقيّم الرموز شهرياً، ثم قارنها بعرض استضافة. تتوفر تجربة بقيمة $0.50 بنقرة واحدة على صفحة مفتاح API، والمكالمة هي مكالمة OpenAI المعتادة:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

يشمل الرد كائن استخدام وعنوان X-Balance-USD، لذا فإن أسبوع من الاستخدام العادي يمنحك رقمًا شهريًا حقيقيًا. إذا انتهى الأمر بهذا الرقم قريبًا من نقطة التعادل، فستكون لديك البيانات لاتخاذ القرار. تفاصيل الإعداد موجودة في الوثائق. للخلفية حول نوع النموذج المعني، انظر إلى ما هو نموذج الذكاء الاصطناعي بدون رقابة.

أسئلة وأجوبة

هل استضافة نموذج LLM ذاتياً أرخص من واجهة برمجة التطبيقات (API)؟

فقط عند حجم مرتفع ومستقر. تكلف بطاقة GPU نفس التكلفة سواء كانت خاملة أو مشغولة، بينما تفرض واجهة برمجة التطبيقات (API) الرسوم لكل رمز (token). احسب نقطة التعادل باستخدام الصيغة أعلاه.

كم تحتاج من ذاكرة GPU؟

تأخذ الأوزان حوالي 2 بايت لكل معلمة عند 16 بت و0.5 بايت عند 4 بت، لذا يحتاج نموذج 70B إلى حوالي 140 جيجابايت أو 35 جيجابايت، بالإضافة إلى ذاكرة للسياق المؤقت (context cache).

هل يمكنني إجراء الضبط الدقيق (fine-tuning) باستخدام هذه واجهة برمجة التطبيقات (API)؟

لا. إنه استنتاج نصي فقط بدون ضبط دقيق أو تضمينات. إذا كنت بحاجة إلى أوزان مخصصة، فإن الاستضافة الذاتية هي المسار الصحيح.

كم يكلف الـ API؟

$0.15 لكل 1M رمز إدخال و$0.50 لكل 1M رمز مخرج، مسبق الدفع، بدون اشتراك، ولا تُفرض رسوم على الطلبات الفاشلة.

هل تقومون بالتدريب على الموجّهات الخاصة بي؟

لا. لا تُستخدم الموجّهات للتدريب.

مفتاحك على بُعد نموذج واحد

أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذا هو الإعداد الكامل.

احصل على مفتاح API