Câu trả lời ngắn
Đối với hầu hết cá nhân và nhóm nhỏ, API rẻ hơn cho đến khi lưu lượng cao và liên tục. Đối với quyết định tự lưu trữ LLM so với API, biến số quyết định là mức sử dụng: một GPU bạn trả tiền suốt ngày đêm sẽ tốn chi phí như nhau dù nó phục vụ một triệu token hay mười. API tính phí theo token chỉ tính phí cho token đã sử dụng.
Tự lưu trữ hợp lý khi bạn cần tinh chỉnh, khi dữ liệu không thể rời khỏi mạng của bạn, khi bạn phải chạy một mô hình cụ thể, hoặc khi bạn có khối lượng nặng ổn định và ai đó vận hành máy. API hợp lý khi bạn muốn chạy xong trong một buổi chiều, khi mức sử dụng không đều, hoặc khi một người làm mọi thứ.
Phần còn lại của bài viết này cung cấp các con số bạn có thể tự tính toán lại. Nó không trích dẫn giá phần cứng hoặc đám mây, vì những giá đó thay đổi; bạn sẽ thêm báo giá của mình vào các công thức.
Phần cứng thực sự mà một mô hình cần
Ràng buộc chính là bộ nhớ GPU. Trọng số chỉ chiếm khoảng parameters × bytes per parameter:
| Kích thước mô hình | 16-bit (2 byte) | 8-bit (1 byte) | 4-bit (0.5 byte) |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Đó là mức tối thiểu. Bạn cũng cần bộ nhớ cho bộ nhớ đệm chú ý, bộ nhớ này tăng lên theo độ dài ngữ cảnh và số lượng yêu cầu đồng thời, cộng thêm chi phí thời gian chạy. Phục vụ ngữ cảnh 100.000 token cho nhiều người dùng cùng lúc có thể tốn nhiều bộ nhớ hơn trọng số, và các con số phụ thuộc vào kiến trúc của mô hình. Các mô hình lượng tử hóa nhỏ hơn chạy trên một GPU tiêu dùng; các mô hình lớn cần nhiều GPU hoặc một nút thuê, cộng thêm máy chủ suy luận như vLLM hoặc llama.cpp để xếp hàng yêu cầu.
Lượng tử hóa xuống 4-bit tiết kiệm bộ nhớ nhưng đánh đổi bằng chất lượng, và mức độ mất mát khác nhau tùy theo mô hình và nhiệm vụ. Bạn phải kiểm tra nó trên các prompt của riêng mình.
Công việc không có trong báo giá phần cứng
Phần cứng là chi phí hiển thị. Phần ít hiển thị hơn là vận hành:
- Thiết lập. Trình điều khiển, phiên bản CUDA, máy chủ suy luận, lớp tương thích OpenAI, xác thực và proxy ngược. Một thiết lập hoạt động đầu tiên thường mất một ngày hoặc hơn; một thiết lập sản xuất thì lâu hơn.
- Điều chỉnh. Kích thước lô, giới hạn ngữ cảnh, cài đặt bộ nhớ và mặc định lấy mẫu quyết định việc bạn phục vụ 2 người dùng hay 20 người.
- Cập nhật. Các phiên bản mô hình mới, bản vá bảo mật và bản phát hành máy chủ suy luận đến thường xuyên và đôi khi làm hỏng mọi thứ.
- Giám sát. Ai đó phải nhận ra khi GPU hết bộ nhớ vào ban đêm.
- Thời gian nhàn rỗi. Một máy không sử dụng vẫn tốn tiền điện hoặc tiền thuê.
Hãy quy đổi thời gian của bạn sang giá giờ và cộng thêm khoảng bốn đến tám giờ bảo trì mỗi tháng. Con số này thường lớn hơn hóa đơn tiền điện cho các triển khai nhỏ.
API tốn bao nhiêu cho cùng khối lượng đó
API này tính $0,15 cho 1 triệu token đầu vào và $0,50 cho 1 triệu token đầu ra, từ tín dụng trả trước không bao giờ hết hạn. Không có đăng ký, và các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Các ví dụ tính toán, từng tháng:
| Token hàng tháng (đầu vào / đầu ra) | Chi phí đầu vào | Chi phí đầu ra | Tổng cộng |
|---|---|---|---|
| 20M / 5M | $3,00 | $2,50 | $5,50 |
| 100M / 20M | $15,00 | $10,00 | $25,00 |
| 1,000M / 200M | $150,00 | $100,00 | $250,00 |
Đối với tỷ lệ đầu vào trên đầu ra là 5-1, 6 triệu token tốn 5 × $0,15 + 1 × $0,50 = $1,25, hoặc khoảng $0,21 cho mỗi triệu token pha trộn. Tỷ lệ của bạn sẽ khác, vì vậy hãy tính lại với các trung bình của riêng bạn. Xem trang giá cả để biết số tiền nạp và tiền thưởng.
Tìm điểm hòa vốn của bạn
Hãy cộng tất cả những gì bạn sẽ trả mỗi tháng để tự lưu trữ: chi phí phần cứng chia cho số tháng bạn sẽ sử dụng nó, hoặc phí thuê; điện; và giá trị số giờ bảo trì của bạn. Gọi tổng là F. Sau đó:
def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
# blended API price per 1M tokens at a 5:1 input:output mix
blended = in_share * 0.15 + (1 - in_share) * 0.50
return monthly_fixed_cost / blended # millions of tokens per month
print(breakeven_tokens(100)) # about 480 million tokens a month
Mỗi $100 chi phí cố định hàng tháng tương đương khoảng 480 triệu token trên API ở tỷ lệ đó. Nếu lưu lượng thực của bạn thấp hơn nhiều so với con số hòa vốn, điều này đúng với hầu hết các dự án phụ, công cụ nội bộ và sản phẩm nhỏ, thì API rẻ hơn. Nếu nó cao hơn nhiều và liên tục, việc sở hữu máy có thể thắng. Hãy kiểm tra so sánh đó bằng các con số hiện tại, vì cả hai bên đều thay đổi.
Hãy nhớ rằng dung lượng tự lưu trữ cũng là một giới hạn. Một máy chỉ phục vụ một số yêu cầu nhất định cùng lúc. Trên một khóa đầy đủ ở đây, 8 yêu cầu đồng thời và 300 mỗi phút được cho phép, và dung lượng phía sau chúng không phải là vấn đề của bạn.
Những gì bạn từ bỏ với API được lưu trữ
API không phải là bữa trưa miễn phí, và một số giới hạn đáng được nêu rõ ràng.
- Một mô hình. Dịch vụ này chạy một mô hình trọng số mở duy nhất từ một nhà cung cấp độc lập, ID mô hình
uncensored. Bạn không thể thay thế nó hoặc tải trọng số của riêng mình. - Chỉ văn bản: không có hình ảnh, âm thanh, video hoặc vector nhúng, và không có tinh chỉnh.
- Cửa sổ ngữ cảnh 100.000 token, prompt cộng với kết quả.
- Các prompt của bạn rời khỏi mạng của bạn. Chúng không được dùng để huấn luyện, nhưng nếu chính sách yêu cầu xử lý tại chỗ, tự lưu trữ là câu trả lời.
Để đổi lại, bạn nhận được truyền phát, gọi hàm và chế độ JSON qua giao diện OpenAI tiêu chuẩn, vì vậy mã hiện có hoạt động với URL cơ bản thay đổi. Các khung làm việc cũng giúp ích; ghi chú của chúng tôi về cách sử dụng các mô hình nguồn mở với LangChain cho thấy cách trỏ một cái vào một endpoint như thế này.
Một cách tiết kiệm chi phí để đưa ra quyết định
Đừng mua phần cứng để tìm hiểu xem bạn có cần nó không. Hãy chạy tải trọng thực của bạn qua API trước, đo lường token mỗi tháng, và chỉ sau đó so sánh với báo giá lưu trữ. Bản dùng thử một lần với giá $0,50 có sẵn trên trang khóa API, và lệnh gọi là lệnh OpenAI thông thường:
curl https://api.uncensoredmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'
Phản hồi bao gồm một đối tượng sử dụng và tiêu đề X-Balance-USD, vì vậy một tuần sử dụng bình thường sẽ cho bạn một con số hàng tháng thực tế. Nếu con số đó gần mức hòa vốn, bạn sẽ có dữ liệu để đưa ra quyết định. Chi tiết thiết lập có trong tài liệu. Để biết thêm thông tin nền về loại mô hình liên quan, hãy xem mô hình AI không kiểm duyệt là gì.

