VI ▾

Uncensored Model HubTự lưu trữ LLM so với API: Chi phí, Công sức và Điểm hòa vốn

Tự lưu trữ LLM so với API: Chi phí, Công sức và Điểm hòa vốn

Câu hỏi tự lưu trữ LLM so với API chủ yếu là tính toán cộng với việc nhìn nhận trung thực về thời gian của bạn. Chạy mô hình riêng cho bạn quyền kiểm soát và hóa đơn cố định; API cho bạn không cần thiết lập và hóa đơn biến đổi theo mức sử dụng. Dưới đây là cách tính xem phương án nào hiệu quả hơn cho khối lượng của bạn.

Cập nhật

Cân cân bằng cân nhắc một tủ máy chủ với một nút đám mây và tiền xu, so sánh tự lưu trữ với API
Các mắt xích kính nối các khối mô-đun với khối máy chủ, minh họa LangChain với API mô hình trọng số mở

Điểm chính

  1. Một mô hình cần khoảng 0.5 byte cho mỗi tham số ở chế độ 4-bit và 2 byte ở chế độ 16-bit, chưa tính bộ nhớ đệm và chi phí phát sinh, vì vậy một mô hình 70B cần khoảng 35 GB đến 140 GB bộ nhớ GPU.
  2. Ở mức $0,15 cho 1 triệu token đầu vào và $0,50 cho 1 triệu token đầu ra, 100 triệu token đầu vào cộng 20 triệu token đầu ra mỗi tháng tốn $25.
  3. Tự lưu trữ thắng thế về tinh chỉnh, sử dụng ngoại tuyến và khối lượng ổn định rất cao; API thắng thế về lưu lượng thấp hoặc biến động.
  4. Hãy tính số giờ của bạn: cập nhật, trình điều khiển và giám sát là một phần của chi phí.

Câu trả lời ngắn

Đối với hầu hết cá nhân và nhóm nhỏ, API rẻ hơn cho đến khi lưu lượng cao và liên tục. Đối với quyết định tự lưu trữ LLM so với API, biến số quyết định là mức sử dụng: một GPU bạn trả tiền suốt ngày đêm sẽ tốn chi phí như nhau dù nó phục vụ một triệu token hay mười. API tính phí theo token chỉ tính phí cho token đã sử dụng.

Tự lưu trữ hợp lý khi bạn cần tinh chỉnh, khi dữ liệu không thể rời khỏi mạng của bạn, khi bạn phải chạy một mô hình cụ thể, hoặc khi bạn có khối lượng nặng ổn định và ai đó vận hành máy. API hợp lý khi bạn muốn chạy xong trong một buổi chiều, khi mức sử dụng không đều, hoặc khi một người làm mọi thứ.

Phần còn lại của bài viết này cung cấp các con số bạn có thể tự tính toán lại. Nó không trích dẫn giá phần cứng hoặc đám mây, vì những giá đó thay đổi; bạn sẽ thêm báo giá của mình vào các công thức.

Phần cứng thực sự mà một mô hình cần

Ràng buộc chính là bộ nhớ GPU. Trọng số chỉ chiếm khoảng parameters × bytes per parameter:

Kích thước mô hình16-bit (2 byte)8-bit (1 byte)4-bit (0.5 byte)
8B16 GB8 GB4 GB
32B64 GB32 GB16 GB
70B140 GB70 GB35 GB

Đó là mức tối thiểu. Bạn cũng cần bộ nhớ cho bộ nhớ đệm chú ý, bộ nhớ này tăng lên theo độ dài ngữ cảnh và số lượng yêu cầu đồng thời, cộng thêm chi phí thời gian chạy. Phục vụ ngữ cảnh 100.000 token cho nhiều người dùng cùng lúc có thể tốn nhiều bộ nhớ hơn trọng số, và các con số phụ thuộc vào kiến trúc của mô hình. Các mô hình lượng tử hóa nhỏ hơn chạy trên một GPU tiêu dùng; các mô hình lớn cần nhiều GPU hoặc một nút thuê, cộng thêm máy chủ suy luận như vLLM hoặc llama.cpp để xếp hàng yêu cầu.

Lượng tử hóa xuống 4-bit tiết kiệm bộ nhớ nhưng đánh đổi bằng chất lượng, và mức độ mất mát khác nhau tùy theo mô hình và nhiệm vụ. Bạn phải kiểm tra nó trên các prompt của riêng mình.

Công việc không có trong báo giá phần cứng

Phần cứng là chi phí hiển thị. Phần ít hiển thị hơn là vận hành:

  • Thiết lập. Trình điều khiển, phiên bản CUDA, máy chủ suy luận, lớp tương thích OpenAI, xác thực và proxy ngược. Một thiết lập hoạt động đầu tiên thường mất một ngày hoặc hơn; một thiết lập sản xuất thì lâu hơn.
  • Điều chỉnh. Kích thước lô, giới hạn ngữ cảnh, cài đặt bộ nhớ và mặc định lấy mẫu quyết định việc bạn phục vụ 2 người dùng hay 20 người.
  • Cập nhật. Các phiên bản mô hình mới, bản vá bảo mật và bản phát hành máy chủ suy luận đến thường xuyên và đôi khi làm hỏng mọi thứ.
  • Giám sát. Ai đó phải nhận ra khi GPU hết bộ nhớ vào ban đêm.
  • Thời gian nhàn rỗi. Một máy không sử dụng vẫn tốn tiền điện hoặc tiền thuê.

Hãy quy đổi thời gian của bạn sang giá giờ và cộng thêm khoảng bốn đến tám giờ bảo trì mỗi tháng. Con số này thường lớn hơn hóa đơn tiền điện cho các triển khai nhỏ.

API tốn bao nhiêu cho cùng khối lượng đó

API này tính $0,15 cho 1 triệu token đầu vào và $0,50 cho 1 triệu token đầu ra, từ tín dụng trả trước không bao giờ hết hạn. Không có đăng ký, và các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Các ví dụ tính toán, từng tháng:

Token hàng tháng (đầu vào / đầu ra)Chi phí đầu vàoChi phí đầu raTổng cộng
20M / 5M$3,00$2,50$5,50
100M / 20M$15,00$10,00$25,00
1,000M / 200M$150,00$100,00$250,00

Đối với tỷ lệ đầu vào trên đầu ra là 5-1, 6 triệu token tốn 5 × $0,15 + 1 × $0,50 = $1,25, hoặc khoảng $0,21 cho mỗi triệu token pha trộn. Tỷ lệ của bạn sẽ khác, vì vậy hãy tính lại với các trung bình của riêng bạn. Xem trang giá cả để biết số tiền nạp và tiền thưởng.

Tìm điểm hòa vốn của bạn

Hãy cộng tất cả những gì bạn sẽ trả mỗi tháng để tự lưu trữ: chi phí phần cứng chia cho số tháng bạn sẽ sử dụng nó, hoặc phí thuê; điện; và giá trị số giờ bảo trì của bạn. Gọi tổng là F. Sau đó:

def breakeven_tokens(monthly_fixed_cost, in_share=5/6):
    # blended API price per 1M tokens at a 5:1 input:output mix
    blended = in_share * 0.15 + (1 - in_share) * 0.50
    return monthly_fixed_cost / blended  # millions of tokens per month

print(breakeven_tokens(100))  # about 480 million tokens a month

Mỗi $100 chi phí cố định hàng tháng tương đương khoảng 480 triệu token trên API ở tỷ lệ đó. Nếu lưu lượng thực của bạn thấp hơn nhiều so với con số hòa vốn, điều này đúng với hầu hết các dự án phụ, công cụ nội bộ và sản phẩm nhỏ, thì API rẻ hơn. Nếu nó cao hơn nhiều và liên tục, việc sở hữu máy có thể thắng. Hãy kiểm tra so sánh đó bằng các con số hiện tại, vì cả hai bên đều thay đổi.

Hãy nhớ rằng dung lượng tự lưu trữ cũng là một giới hạn. Một máy chỉ phục vụ một số yêu cầu nhất định cùng lúc. Trên một khóa đầy đủ ở đây, 8 yêu cầu đồng thời và 300 mỗi phút được cho phép, và dung lượng phía sau chúng không phải là vấn đề của bạn.

Những gì bạn từ bỏ với API được lưu trữ

API không phải là bữa trưa miễn phí, và một số giới hạn đáng được nêu rõ ràng.

  • Một mô hình. Dịch vụ này chạy một mô hình trọng số mở duy nhất từ một nhà cung cấp độc lập, ID mô hình uncensored. Bạn không thể thay thế nó hoặc tải trọng số của riêng mình.
  • Chỉ văn bản: không có hình ảnh, âm thanh, video hoặc vector nhúng, và không có tinh chỉnh.
  • Cửa sổ ngữ cảnh 100.000 token, prompt cộng với kết quả.
  • Các prompt của bạn rời khỏi mạng của bạn. Chúng không được dùng để huấn luyện, nhưng nếu chính sách yêu cầu xử lý tại chỗ, tự lưu trữ là câu trả lời.

Để đổi lại, bạn nhận được truyền phát, gọi hàm và chế độ JSON qua giao diện OpenAI tiêu chuẩn, vì vậy mã hiện có hoạt động với URL cơ bản thay đổi. Các khung làm việc cũng giúp ích; ghi chú của chúng tôi về cách sử dụng các mô hình nguồn mở với LangChain cho thấy cách trỏ một cái vào một endpoint như thế này.

Một cách tiết kiệm chi phí để đưa ra quyết định

Đừng mua phần cứng để tìm hiểu xem bạn có cần nó không. Hãy chạy tải trọng thực của bạn qua API trước, đo lường token mỗi tháng, và chỉ sau đó so sánh với báo giá lưu trữ. Bản dùng thử một lần với giá $0,50 có sẵn trên trang khóa API, và lệnh gọi là lệnh OpenAI thông thường:

curl https://api.uncensoredmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Phản hồi bao gồm một đối tượng sử dụng và tiêu đề X-Balance-USD, vì vậy một tuần sử dụng bình thường sẽ cho bạn một con số hàng tháng thực tế. Nếu con số đó gần mức hòa vốn, bạn sẽ có dữ liệu để đưa ra quyết định. Chi tiết thiết lập có trong tài liệu. Để biết thêm thông tin nền về loại mô hình liên quan, hãy xem mô hình AI không kiểm duyệt là gì.

Hỏi đáp

Tự lưu trữ LLM có rẻ hơn API không?

Chỉ khi bạn có khối lượng cao và ổn định. GPU có chi phí giống nhau dù nhàn rỗi hay bận, trong khi API tính phí theo token. Bạn hãy tính điểm hòa vốn bằng công thức ở trên.

Tôi cần bao nhiêu bộ nhớ GPU?

Các trọng số chiếm khoảng 2 byte cho mỗi tham số ở chế độ 16-bit và 0,5 byte ở chế độ 4-bit, vì vậy một mô hình 70B cần khoảng 140 GB hoặc 35 GB, cộng thêm bộ nhớ cho bộ nhớ đệm ngữ cảnh.

Tôi có thể tinh chỉnh trên API này không?

Không. API chỉ hỗ trợ suy luận văn bản, không có tinh chỉnh hay embedding. Nếu bạn cần trọng số tùy chỉnh, tự lưu trữ là phương án phù hợp.

API này có giá bao nhiêu?

$0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, tín dụng trả trước, không có gói đăng ký, và các yêu cầu thất bại sẽ không bị tính phí.

Các bạn có huấn luyện trên các prompt của tôi không?

Không. Các prompt không được dùng để huấn luyện.

Khóa của bạn chỉ cách một mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API