คำตอบสั้นๆ
สำหรับบุคคลทั่วไปและทีมขนาดเล็ก API จะถูกกว่าจนกว่าปริมาณการใช้งานจะสูงและคงที่ สำหรับการตัดสินใจเรื่องโฮสต์ LLM เอง ปัจจัยชี้ขาดคืออัตราการใช้งาน: GPU ที่คุณจ่ายค่าเช่าตลอด 24 ชั่วโมงมีต้นทุนเท่ากันไม่ว่าจะประมวลผลหนึ่งล้านโทเคนหรือสิบโทเคน API แบบจ่ายตามโทเคนจะคิดเงินเฉพาะโทเคนที่ใช้จริง
การโฮสต์เองมีความหมายเมื่อคุณต้องการ fine-tune ข้อมูลไม่สามารถออกนอกเครือข่ายของคุณได้ คุณต้องรันโมเดลเฉพาะ หรือคุณมีปริมาณการใช้งานหนักที่คงที่และมีคนดูแลเครื่องจักร API มีความหมายเมื่อคุณต้องการให้ระบบทำงานได้ในบ่ายวันหนึ่ง เมื่อการใช้งานไม่สม่ำเสมอ หรือเมื่อมีบุคคลเดียวที่ดูแลทุกอย่าง
ส่วนที่เหลือของบทความนี้ให้ตัวเลขที่คุณสามารถคำนวณซ้ำได้ ไม่ได้อ้างอิงราคาฮาร์ดแวร์หรือคลาวด์ เพราะราคาเหล่านี้เปลี่ยนแปลงได้ คุณจะต้องนำราคาของคุณเองไปใส่ในสูตร
ฮาร์ดแวร์ที่โมเดลต้องการจริงๆ
ข้อจำกัดหลักคือหน่วยความจำ GPU น้ำหนักโมเดลใช้พื้นที่ประมาณ parameters × bytes per parameter:
| ขนาดโมเดล | 16-bit (2 bytes) | 8-bit (1 byte) | 4-bit (0.5 bytes) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
นั่นคือค่าต่ำสุด คุณยังต้องการหน่วยความจำสำหรับ attention cache ซึ่งเพิ่มขึ้นตามความยาวของ context และจำนวนคำขอพร้อมกัน รวมถึง overhead ของ runtime การให้บริการ context ขนาด 100,000-token ให้ผู้ใช้หลายคนพร้อมกันอาจใช้หน่วยความจำมากกว่าน้ำหนักโมเดล และตัวเลขเหล่านี้ขึ้นอยู่กับสถาปัตยกรรมของโมเดล โมเดลที่ผ่านการ quantize ขนาดเล็กสามารถรันบน GPU สำหรับผู้บริโภคเครื่องเดียวได้ ในขณะที่โมเดลขนาดใหญ่ต้องการ GPU หลายตัวหรือ node ที่เช่ามา รวมถึง inference server เช่น vLLM หรือ llama.cpp เพื่อ batch คำขอ
การ quantize เป็น 4-bit ช่วยประหยัดหน่วยความจำแต่แลกมาด้วยความแม่นยำที่ลดลง และการสูญเสียความแม่นยำนั้นแตกต่างกันไปตามโมเดลและงาน คุณต้องทดสอบกับพรอมต์ของคุณเอง
งานที่ไม่รวมอยู่ในราคาฮาร์ดแวร์
ฮาร์ดแวร์เป็นค่าใช้จ่ายที่มองเห็นได้ ส่วนที่มองเห็นได้น้อยกว่าคือการทำงาน:
- การติดตั้ง ไดรเวอร์ เวอร์ชัน CUDA เซิร์ฟเวอร์อนุมาน ชั้นที่เข้ากันได้กับ OpenAI การตรวจสอบสิทธิ์ และพร็อกซีย้อนกลับ การติดตั้งเบื้องต้นที่ใช้งานได้จริงมักใช้เวลาหนึ่งวันหรือมากกว่านั้น; การติดตั้งสำหรับงานผลิตใช้เวลานานกว่า
- การปรับแต่ง ขนาด batch ขีดจำกัด context ค่าเริ่มต้นของ sampling และการตั้งค่าหน่วยความจำเป็นตัวกำหนดว่าคุณจะให้บริการผู้ใช้ 2 คนหรือ 20 คน
- การอัปเดต เวอร์ชันโมเดลใหม่ การแก้ไขด้านความปลอดภัย และการอัปเดต inference server เข้ามาอย่างสม่ำเสมอและบางครั้งอาจทำให้ระบบขัดข้อง
- การตรวจสอบ มีคนต้องคอยสังเกตเมื่อ GPU หมดหน่วยความจำในช่วงกลางคืน
- เวลาว่าง เครื่องที่ไม่ได้ใช้งานยังคงมีค่าไฟฟ้าหรือค่าเช่า
กำหนดมูลค่าต่อชั่วโมงของเวลาคุณแล้วเพิ่มเวลาบำรุงรักษาประมาณสี่ถึงแปดชั่วโมงต่อเดือน ตัวเลขนี้อาจมีมูลค่ามากกว่าบิลค่าไฟฟ้าสำหรับการใช้งานขนาดเล็ก
ต้นทุน API สำหรับปริมาณงานเดียวกัน
API นี้คิด $0.15 ต่อ 1M input token และ $0.50 ต่อ 1M output token จากเครดิตแบบเติมเงินล่วงหน้าที่ไม่หมดอายุ ไม่มีสมาชิก และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บ ค่าใช้จ่ายตัวอย่างรายเดือน:
| โทเคนรายเดือน (เข้า / ออก) | ต้นทุนอินพุต | ต้นทุนเอาต์พุต | รวม |
|---|---|---|---|
| 20M / 5M | $3.00 | $2.50 | $5.50 |
| 100M / 20M | $15.00 | $10.00 | $25.00 |
| 1,000M / 200M | $150.00 | $100.00 | $250.00 |
สำหรับการผสมผสานอินพุตต่อเอาต์พุต 5-to-1 โทเคน 6M มีต้นทุน 5 × $0.15 + 1 × $0.50 = $1.25 หรือประมาณ $0.21 ต่อล้านโทเคนแบบผสม การผสมผสานของคุณจะแตกต่างกัน ดังนั้นให้คำนวณใหม่ด้วยค่าเฉลี่ยของคุณเอง ดูหน้าราคาสำหรับจำนวนเงินเติมและโบนัส
หาจุดคุ้มทุนของคุณ
รวมทุกอย่างที่คุณต้องจ่ายในแต่ละเดือนสำหรับการโฮสต์เอง: ค่าฮาร์ดแวร์หารด้วยเดือนที่คุณจะใช้ หรือค่าเช่า; ค่าไฟฟ้า; และมูลค่าของเวลาบำรุงรักษาของคุณ เรียกยอดรวมว่า F จากนั้น:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
ต้นทุนคงที่รายเดือน $100 เท่ากับโทเคนประมาณ 480 ล้านตัวบน API ที่อัตราผสมนี้ หากปริมาณการใช้งานจริงของคุณต่ำกว่าจุดคุ้มทุน ซึ่งมักเป็นกรณีของโปรเจกต์เสริม เครื่องมือภายใน และผลิตภัณฑ์ขนาดเล็ก API จะถูกกว่า หากปริมาณการใช้งานสูงมากและคงที่ การเป็นเจ้าของเครื่องอาจคุ้มค่ากว่า ให้ตรวจสอบการเปรียบเทียบนี้ด้วยตัวเลขปัจจุบัน เนื่องจากทั้งสองฝ่ายมีการเปลี่ยนแปลง
โปรดจำไว้ว่าความจุในการโฮสต์เองก็มีขีดจำกัดเช่นกัน เครื่องหนึ่งเครื่องสามารถรองรับคำขอพร้อมกันได้ในจำนวนจำกัด บนคีย์เต็มที่นี่ อนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที และความสามารถในการรองรับเบื้องหลังนั้นไม่ใช่ปัญหาของคุณ
สิ่งที่คุณต้องเสียไปเมื่อใช้ API แบบโฮสต์
API ไม่ใช่อาหารกลางวันฟรี และข้อจำกัดบางประการก็ควรระบุให้ชัดเจน
- โมเดลเดียว บริการนี้รันโมเดลแบบเปิดน้ำหนักเพียงโมเดลเดียวจากผู้ให้บริการอิสระ รหัสโมเดลคือ
uncensoredคุณไม่สามารถสลับหรือโหลดน้ำหนักของคุณเองได้ - เฉพาะข้อความ: ไม่มีรูปภาพ เสียง วิดีโอ หรือ embedding และไม่มี fine-tuning
- หน้าต่างบริบทขนาด 100,000 โทเคน รวมพรอมต์และผลลัพธ์
- พรอมต์ของคุณจะออกนอกเครือข่ายของคุณ พรอมต์เหล่านี้ไม่ได้ถูกนำไปใช้ในการฝึก แต่หากนโยบายของคุณกำหนดให้ต้องประมวลผลภายในสถานที่ การโฮสต์เองคือคำตอบ
ในฐานะตอบแทน คุณจะได้สตรีมมิง การเรียกใช้เครื่องมือ และโหมด JSON ภายใต้อินเทอร์เฟซ OpenAI มาตรฐาน ทำให้โค้ดที่มีอยู่ทำงานได้ด้วยการเปลี่ยน Base URL เท่านั้น เฟรมเวิร์กต่างๆ ก็ช่วยได้เช่นกัน; หมายเหตุของเราเกี่ยวกับการ ใช้โมเดลโอเพนซอร์สกับ LangChain แสดงวิธีชี้ไปยังเอนด์พอยต์เช่นนี้
วิธีราคาถูกในการตัดสินใจ
อย่าซื้อฮาร์ดแวร์เพื่อหาว่าคุณต้องการมันหรือไม่ ให้รันงานจริงของคุณผ่าน API ก่อน วัดจำนวนโทเคนต่อเดือน แล้วจึงเปรียบเทียบกับการเสนอราคาจากโฮสติ้ง มีทดลองใช้แบบคลิกเดียวมูลค่า $0.50 ให้ใช้งานได้ที่หน้า คีย์ API และการเรียกใช้ก็เป็นการเรียกใช้ OpenAI ทั่วไป:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
การตอบกลับจะมีวัตถุ usage และส่วนหัว X-Balance-USD ทำให้การใช้งานปกติหนึ่งสัปดาห์ให้ตัวเลขรายเดือนที่แท้จริง หากตัวเลขนั้นใกล้เคียงกับจุดคุ้มทุน คุณก็มีข้อมูลเพียงพอที่จะตัดสินใจ รายละเอียดการติดตั้งอยู่ใน เอกสารประกอบ สำหรับข้อมูลพื้นฐานเกี่ยวกับประเภทของโมเดลที่เกี่ยวข้อง โปรดดู โมเดล AI แบบไม่เซ็นเซอร์คืออะไร

