TH ▾

Uncensored Model Hubการโฮสต์ LLM เอง vs API: ค่าใช้จ่าย ความพยายาม และจุดคุ้มทุน

การโฮสต์ LLM เอง vs API: ค่าใช้จ่าย ความพยายาม และจุดคุ้มทุน

คำถามเรื่องการโฮสต์ LLM เองเทียบกับ API คือเรื่องของการคำนวณทางคณิตศาสตร์และการประเมินเวลาของคุณอย่างตรงไปตรงมา การรันโมเดลเองให้ความควบคุมและบิลค่าใช้จ่ายคงที่ ในขณะที่ API ให้คุณไม่ต้องตั้งค่าเริ่มต้นและบิลค่าใช้จ่ายที่อิงตามการใช้งาน นี่คือวิธีคำนวณว่าตัวเลือกใดคุ้มค่ากับปริมาณการใช้งานของคุณ

อัปเดต

ภาพเครื่องชั่งถ่วงระหว่างเซิร์ฟเวอร์เรคกับคลาวด์โนดและเหรียญ เปรียบเทียบการโฮสต์เองกับ API
โซ่แก้วที่เชื่อมบล็อกโมดูลาร์เข้ากับกล่องเซิร์ฟเวอร์ แสดงภาพ LangChain พร้อม API โมเดลแบบเปิดน้ำหนัก

ประเด็นสำคัญ

  1. โมเดลต้องการพื้นที่ประมาณ 0.5 bytes ต่อพารามิเตอร์ที่ 4-bit และ 2 bytes ที่ 16-bit ก่อนรวม cache และ overhead ดังนั้นโมเดลขนาด 70B ต้องการหน่วยความจำ GPU ประมาณ 35 GB ถึง 140 GB
  2. ที่ราคา $0.15 ต่อ 1M input และ $0.50 ต่อ 1M output การใช้งาน 100M input tokens และ 20M output tokens ต่อเดือนจะมีค่าใช้จ่าย $25
  3. การโฮสต์เองชนะในเรื่อง fine-tuning การใช้งานแบบออฟไลน์ และปริมาณการใช้งานสูงที่คงที่ ในขณะที่ API ชนะในเรื่องปริมาณการใช้งานต่ำหรือมีความผันผวน
  4. นับเวลาของคุณเอง: การอัปเดต ไดรเวอร์ และการตรวจสอบ ล้วนเป็นส่วนหนึ่งของค่าใช้จ่าย

คำตอบสั้นๆ

สำหรับบุคคลทั่วไปและทีมขนาดเล็ก API จะถูกกว่าจนกว่าปริมาณการใช้งานจะสูงและคงที่ สำหรับการตัดสินใจเรื่องโฮสต์ LLM เอง ปัจจัยชี้ขาดคืออัตราการใช้งาน: GPU ที่คุณจ่ายค่าเช่าตลอด 24 ชั่วโมงมีต้นทุนเท่ากันไม่ว่าจะประมวลผลหนึ่งล้านโทเคนหรือสิบโทเคน API แบบจ่ายตามโทเคนจะคิดเงินเฉพาะโทเคนที่ใช้จริง

การโฮสต์เองมีความหมายเมื่อคุณต้องการ fine-tune ข้อมูลไม่สามารถออกนอกเครือข่ายของคุณได้ คุณต้องรันโมเดลเฉพาะ หรือคุณมีปริมาณการใช้งานหนักที่คงที่และมีคนดูแลเครื่องจักร API มีความหมายเมื่อคุณต้องการให้ระบบทำงานได้ในบ่ายวันหนึ่ง เมื่อการใช้งานไม่สม่ำเสมอ หรือเมื่อมีบุคคลเดียวที่ดูแลทุกอย่าง

ส่วนที่เหลือของบทความนี้ให้ตัวเลขที่คุณสามารถคำนวณซ้ำได้ ไม่ได้อ้างอิงราคาฮาร์ดแวร์หรือคลาวด์ เพราะราคาเหล่านี้เปลี่ยนแปลงได้ คุณจะต้องนำราคาของคุณเองไปใส่ในสูตร

ฮาร์ดแวร์ที่โมเดลต้องการจริงๆ

ข้อจำกัดหลักคือหน่วยความจำ GPU น้ำหนักโมเดลใช้พื้นที่ประมาณ parameters × bytes per parameter:

ขนาดโมเดล16-bit (2 bytes)8-bit (1 byte)4-bit (0.5 bytes)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

นั่นคือค่าต่ำสุด คุณยังต้องการหน่วยความจำสำหรับ attention cache ซึ่งเพิ่มขึ้นตามความยาวของ context และจำนวนคำขอพร้อมกัน รวมถึง overhead ของ runtime การให้บริการ context ขนาด 100,000-token ให้ผู้ใช้หลายคนพร้อมกันอาจใช้หน่วยความจำมากกว่าน้ำหนักโมเดล และตัวเลขเหล่านี้ขึ้นอยู่กับสถาปัตยกรรมของโมเดล โมเดลที่ผ่านการ quantize ขนาดเล็กสามารถรันบน GPU สำหรับผู้บริโภคเครื่องเดียวได้ ในขณะที่โมเดลขนาดใหญ่ต้องการ GPU หลายตัวหรือ node ที่เช่ามา รวมถึง inference server เช่น vLLM หรือ llama.cpp เพื่อ batch คำขอ

การ quantize เป็น 4-bit ช่วยประหยัดหน่วยความจำแต่แลกมาด้วยความแม่นยำที่ลดลง และการสูญเสียความแม่นยำนั้นแตกต่างกันไปตามโมเดลและงาน คุณต้องทดสอบกับพรอมต์ของคุณเอง

งานที่ไม่รวมอยู่ในราคาฮาร์ดแวร์

ฮาร์ดแวร์เป็นค่าใช้จ่ายที่มองเห็นได้ ส่วนที่มองเห็นได้น้อยกว่าคือการทำงาน:

  • การติดตั้ง ไดรเวอร์ เวอร์ชัน CUDA เซิร์ฟเวอร์อนุมาน ชั้นที่เข้ากันได้กับ OpenAI การตรวจสอบสิทธิ์ และพร็อกซีย้อนกลับ การติดตั้งเบื้องต้นที่ใช้งานได้จริงมักใช้เวลาหนึ่งวันหรือมากกว่านั้น; การติดตั้งสำหรับงานผลิตใช้เวลานานกว่า
  • การปรับแต่ง ขนาด batch ขีดจำกัด context ค่าเริ่มต้นของ sampling และการตั้งค่าหน่วยความจำเป็นตัวกำหนดว่าคุณจะให้บริการผู้ใช้ 2 คนหรือ 20 คน
  • การอัปเดต เวอร์ชันโมเดลใหม่ การแก้ไขด้านความปลอดภัย และการอัปเดต inference server เข้ามาอย่างสม่ำเสมอและบางครั้งอาจทำให้ระบบขัดข้อง
  • การตรวจสอบ มีคนต้องคอยสังเกตเมื่อ GPU หมดหน่วยความจำในช่วงกลางคืน
  • เวลาว่าง เครื่องที่ไม่ได้ใช้งานยังคงมีค่าไฟฟ้าหรือค่าเช่า

กำหนดมูลค่าต่อชั่วโมงของเวลาคุณแล้วเพิ่มเวลาบำรุงรักษาประมาณสี่ถึงแปดชั่วโมงต่อเดือน ตัวเลขนี้อาจมีมูลค่ามากกว่าบิลค่าไฟฟ้าสำหรับการใช้งานขนาดเล็ก

ต้นทุน API สำหรับปริมาณงานเดียวกัน

API นี้คิด $0.15 ต่อ 1M input token และ $0.50 ต่อ 1M output token จากเครดิตแบบเติมเงินล่วงหน้าที่ไม่หมดอายุ ไม่มีสมาชิก และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บ ค่าใช้จ่ายตัวอย่างรายเดือน:

โทเคนรายเดือน (เข้า / ออก)ต้นทุนอินพุตต้นทุนเอาต์พุตรวม
20M / 5M$3.00$2.50$5.50
100M / 20M$15.00$10.00$25.00
1,000M / 200M$150.00$100.00$250.00

สำหรับการผสมผสานอินพุตต่อเอาต์พุต 5-to-1 โทเคน 6M มีต้นทุน 5 × $0.15 + 1 × $0.50 = $1.25 หรือประมาณ $0.21 ต่อล้านโทเคนแบบผสม การผสมผสานของคุณจะแตกต่างกัน ดังนั้นให้คำนวณใหม่ด้วยค่าเฉลี่ยของคุณเอง ดูหน้าราคาสำหรับจำนวนเงินเติมและโบนัส

หาจุดคุ้มทุนของคุณ

รวมทุกอย่างที่คุณต้องจ่ายในแต่ละเดือนสำหรับการโฮสต์เอง: ค่าฮาร์ดแวร์หารด้วยเดือนที่คุณจะใช้ หรือค่าเช่า; ค่าไฟฟ้า; และมูลค่าของเวลาบำรุงรักษาของคุณ เรียกยอดรวมว่า F จากนั้น:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

ต้นทุนคงที่รายเดือน $100 เท่ากับโทเคนประมาณ 480 ล้านตัวบน API ที่อัตราผสมนี้ หากปริมาณการใช้งานจริงของคุณต่ำกว่าจุดคุ้มทุน ซึ่งมักเป็นกรณีของโปรเจกต์เสริม เครื่องมือภายใน และผลิตภัณฑ์ขนาดเล็ก API จะถูกกว่า หากปริมาณการใช้งานสูงมากและคงที่ การเป็นเจ้าของเครื่องอาจคุ้มค่ากว่า ให้ตรวจสอบการเปรียบเทียบนี้ด้วยตัวเลขปัจจุบัน เนื่องจากทั้งสองฝ่ายมีการเปลี่ยนแปลง

โปรดจำไว้ว่าความจุในการโฮสต์เองก็มีขีดจำกัดเช่นกัน เครื่องหนึ่งเครื่องสามารถรองรับคำขอพร้อมกันได้ในจำนวนจำกัด บนคีย์เต็มที่นี่ อนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที และความสามารถในการรองรับเบื้องหลังนั้นไม่ใช่ปัญหาของคุณ

สิ่งที่คุณต้องเสียไปเมื่อใช้ API แบบโฮสต์

API ไม่ใช่อาหารกลางวันฟรี และข้อจำกัดบางประการก็ควรระบุให้ชัดเจน

  • โมเดลเดียว บริการนี้รันโมเดลแบบเปิดน้ำหนักเพียงโมเดลเดียวจากผู้ให้บริการอิสระ รหัสโมเดลคือ uncensored คุณไม่สามารถสลับหรือโหลดน้ำหนักของคุณเองได้
  • เฉพาะข้อความ: ไม่มีรูปภาพ เสียง วิดีโอ หรือ embedding และไม่มี fine-tuning
  • หน้าต่างบริบทขนาด 100,000 โทเคน รวมพรอมต์และผลลัพธ์
  • พรอมต์ของคุณจะออกนอกเครือข่ายของคุณ พรอมต์เหล่านี้ไม่ได้ถูกนำไปใช้ในการฝึก แต่หากนโยบายของคุณกำหนดให้ต้องประมวลผลภายในสถานที่ การโฮสต์เองคือคำตอบ

ในฐานะตอบแทน คุณจะได้สตรีมมิง การเรียกใช้เครื่องมือ และโหมด JSON ภายใต้อินเทอร์เฟซ OpenAI มาตรฐาน ทำให้โค้ดที่มีอยู่ทำงานได้ด้วยการเปลี่ยน Base URL เท่านั้น เฟรมเวิร์กต่างๆ ก็ช่วยได้เช่นกัน; หมายเหตุของเราเกี่ยวกับการ ใช้โมเดลโอเพนซอร์สกับ LangChain แสดงวิธีชี้ไปยังเอนด์พอยต์เช่นนี้

วิธีราคาถูกในการตัดสินใจ

อย่าซื้อฮาร์ดแวร์เพื่อหาว่าคุณต้องการมันหรือไม่ ให้รันงานจริงของคุณผ่าน API ก่อน วัดจำนวนโทเคนต่อเดือน แล้วจึงเปรียบเทียบกับการเสนอราคาจากโฮสติ้ง มีทดลองใช้แบบคลิกเดียวมูลค่า $0.50 ให้ใช้งานได้ที่หน้า คีย์ API และการเรียกใช้ก็เป็นการเรียกใช้ OpenAI ทั่วไป:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

การตอบกลับจะมีวัตถุ usage และส่วนหัว X-Balance-USD ทำให้การใช้งานปกติหนึ่งสัปดาห์ให้ตัวเลขรายเดือนที่แท้จริง หากตัวเลขนั้นใกล้เคียงกับจุดคุ้มทุน คุณก็มีข้อมูลเพียงพอที่จะตัดสินใจ รายละเอียดการติดตั้งอยู่ใน เอกสารประกอบ สำหรับข้อมูลพื้นฐานเกี่ยวกับประเภทของโมเดลที่เกี่ยวข้อง โปรดดู โมเดล AI แบบไม่เซ็นเซอร์คืออะไร

ถาม-ตอบ

การโฮสต์ LLM ด้วยตนเองมีค่าใช้จ่ายน้อยกว่าการใช้ API หรือไม่?

เฉพาะเมื่อมีปริมาณสูงและคงที่ GPU มีต้นทุนคงที่ไม่ว่าจะใช้งานหรือไม่ แต่ API คิดเงินตามโทเคน คำนวณจุดคุ้มทุนของคุณด้วยสูตรข้างต้น

ฉันต้องการหน่วยความจำ GPU เท่าไร?

น้ำหนักโมเดลใช้พื้นที่ประมาณ 2 ไบต์ต่อพารามิเตอร์ที่ 16-bit และ 0.5 ไบต์ที่ 4-bit ดังนั้นโมเดลขนาด 70B ต้องการพื้นที่ประมาณ 140 GB หรือ 35 GB รวมถึงหน่วยความจำสำหรับแคชบริบท

ฉันสามารถ fine-tune บน API นี้ได้หรือไม่?

ไม่ใช่ เป็นการอนุมานแบบ text-only ไม่มี fine-tuning หรือ embeddings หากคุณต้องการ weights แบบกำหนดเอง การรันเองคือวิธีที่เหมาะสม

API มีราคาเท่าไหร่?

$0.15 ต่อ 1M input token และ $0.50 ต่อ 1M output token, แบบเติมเงินล่วงหน้า ไม่มีแพ็กเกจรายเดือน และคำขอที่ล้มเหลวจะไม่ถูกเรียกเก็บ

คุณฝึกโมเดลบนพรอมต์ของฉันหรือไม่?

ไม่ พรอมต์ไม่ถูกนำไปใช้ฝึกโมเดล

คีย์ของคุณอยู่ห่างแค่ฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API