VI ▾

Uncensored Model Hubmodel_context_window_exceeded: Nguyên nhân và Cách khắc phục

model_context_window_exceeded: Nguyên nhân và Cách khắc phục

Lỗi cửa sổ ngữ cảnh nghĩa là prompt của bạn cộng với câu trả lời bạn yêu cầu không còn vừa trong bộ nhớ của mô hình. Bài viết này giải thích giới hạn của API này (100.000 token), cách đo lường prompt của bạn và mã nguồn cắt lịch sử trước khi xảy ra lỗi.

Cập nhật

Bình thủy tinh chứa các khối phát sáng, phần tràn ra đã được cắt, đại diện cho một cửa sổ ngữ cảnh đầy

Điểm chính

  1. Cửa sổ ngữ cảnh là 100.000 token và tính tổng prompt cùng câu trả lời.
  2. Các ứng dụng chat vượt qua giới hạn này vì chúng gửi lại toàn bộ lịch sử ở mỗi lượt.
  3. Hãy đếm hoặc ước tính token trước khi gửi và giữ lại dung lượng cho câu trả lời.
  4. Cắt bớt các lượt hội thoại cũ cũng giảm chi phí, vì dữ liệu đầu vào được tính phí $0,15 cho mỗi 1M token.

model_context_window_exceeded nghĩa là gì

Chuỗi model_context_window_exceeded là cách một số ứng dụng, SDK và API đánh dấu một lỗi cụ thể: văn bản bạn gửi, cộng với dung lượng cần thiết cho câu trả lời, lớn hơn khả năng chứa của mô hình trong một yêu cầu. Cách diễn đạt của thông báo khác nhau giữa các công cụ, vì vậy bạn nên đọc toàn bộ nội dung lỗi mà ứng dụng của bạn hiển thị thay vì dựa vào tên lỗi. Nguyên nhân luôn giống nhau.

Trên API này, cửa sổ ngữ cảnh là 100.000 token, và con số này bao gồm prompt và câu trả lời cộng lại. Nếu prompt của bạn chiếm 95.000 token, chỉ còn khoảng 5.000 token dành cho câu trả lời. Nếu bạn cũng đặt max_tokens là 8.000, yêu cầu sẽ yêu cầu nhiều hơn mức cửa sổ ngữ cảnh cho phép. Trường max_tokens là tùy chọn, và khi bạn bỏ qua nó, câu trả lời sẽ chỉ sử dụng phần dung lượng còn lại.

Một yêu cầu thất bại theo cách này sẽ trả về lỗi thay vì câu trả lời. Các yêu cầu thất bại không bị tính phí, vì vậy việc chạm giới hạn không tốn của bạn gì ngoài một lượt gửi và nhận. Cách khắc phục nằm ở phía bạn: gửi ít hơn hoặc yêu cầu ít hơn.

100.000 token lớn như thế nào?

Một token là một đoạn văn bản, thường là một từ ngắn hoặc một phần của từ dài hơn. Đối với văn bản tiếng Anh thông thường, quy tắc ước lượng là một token cho bốn ký tự, hoặc khoảng ba phần tư của một từ. Theo quy tắc đó, 100.000 token tương đương khoảng 75.000 từ, tương đương một cuốn tiểu thuyết dài. Mã, JSON, bảng biểu và văn bản không phải tiếng Anh được chia thành nhiều token hơn trên mỗi ký tự, vì vậy cùng một số lượng ký tự có thể chiếm nhiều token hơn. Hãy coi bất kỳ quy tắc thực tế nào là một con số để lập kế hoạch, không phải là sự đảm bảo.

Số đếm chính xác đến từ bộ tokenizer của chính mô hình. API báo cáo việc sử dụng thực tế trong phản hồi: đối tượng usage liệt kê số token prompt và completion, và phản hồi theo luồng gửi dữ liệu sử dụng ở cuối. Đó là dữ liệu đáng tin cậy nhất mà bạn có, vì vậy hãy ghi lại nó.

Nội dungKích thước ước tính
Tin nhắn chat gồm hai câu40 đến 60 token
Một trang văn bản tiếng Anh, 500 từkhoảng 670 token
Tài liệu 10.000 từkhoảng 13.000 token
Bản dump JSON 3 MBthường trên 100.000 token, quá lớn để gửi thô

Thân yêu cầu cũng có giới hạn kích thước là 8 MB, đây là một giới hạn riêng biệt so với token. Các đầu vào lớn có thể thất bại ở một trong hai giới hạn này, và giới hạn token gần như luôn là giới hạn đầu tiên bạn chạm phải.

Tại sao ứng dụng chat lại chạm giới hạn

API không lưu trữ bộ nhớ giữa các lần gọi. Để tiếp tục cuộc hội thoại, mã của bạn phải gửi toàn bộ danh sách tin nhắn mỗi lần. Mỗi lượt thêm tin nhắn của người dùng và câu trả lời vào, nên prompt tăng lên sau mỗi lần trao đổi. Một bot hoạt động tốt trong một giờ rồi bắt đầu lỗi là dấu hiệu điển hình.

Điều tương tự cũng xảy ra với các agent. Kết quả của mỗi công cụ được thêm vào lịch sử, và một hàm trả về bản ghi lớn có thể thêm hàng nghìn token chỉ trong một bước. Các thiết lập truy xuất thông tin thêm một nguồn thứ ba: nếu bạn dán hai mươi đoạn tài liệu vào mỗi prompt, chi phí cơ bản cho mỗi yêu cầu đã lớn trước khi bất kỳ lịch sử nào được tạo ra.

Trước khi sửa bất cứ điều gì, hãy tìm hiểu xem thành phần nào trong ba thành phần đang tăng. In số lượng token prompt từ usage sau mỗi lần gọi. Nếu nó tăng lên khoảng cùng một lượng mỗi lượt, đó là lịch sử. Nếu nó tăng vọt sau các bước cụ thể, đó là đầu ra của công cụ hoặc văn bản được truy xuất.

Cắt lịch sử trước khi gửi nó

Cách khắc phục đơn giản mà đáng tin cậy là một hàm loại bỏ các lượt cũ nhất cho đến khi ước tính phù hợp với ngân sách. Luôn giữ tin nhắn hệ thống và luôn giữ tin nhắn người dùng mới nhất. Ngân sách nên dành dung lượng cho câu trả lời, vì vậy hãy sử dụng khoảng 80.000 token cho prompt và để phần còn lại là không gian cho câu trả lời.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredmodelhub.com/v1",
    api_key="YOUR_API_KEY",
)

def estimate_tokens(text: str) -> int:
    return len(text) // 4 + 4  # rough: 4 characters per token plus overhead

def trim(messages, budget=80_000):
    system = [m for m in messages if m["role"] == "system"]
    rest = [m for m in messages if m["role"] not in ("system",)]
    total = sum(estimate_tokens(m["content"]) for m in system + rest)
    while total > budget and len(rest) > 1:
        dropped = rest.pop(0)  # oldest turn goes first
        total -= estimate_tokens(dropped["content"])
    return system + rest

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=trim(history),
        max_tokens=2000,
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
    return reply

Giữ các lượt người dùng và trợ lý theo cặp khi có thể; việc loại bỏ một nửa của một cặp có thể khiến mô hình bị nhầm lẫn. Tin nhắn công cụ cũng tương tự: một tin nhắn role: "tool" phải đi kèm với lượt trợ lý đã yêu cầu nó, vì vậy hãy loại bỏ chúng cùng nhau. Vì ước tính là thô, một khoảng cách 20 phần trăm giữa ngân sách của bạn và cửa sổ ngữ cảnh thực tế là một biên độ an toàn thoải mái.

Các tùy chọn tốt hơn việc loại bỏ các lượt cũ

Tóm tắt, sau đó tiếp tục

Khi lịch sử vượt quá ngưỡng, hãy gửi nửa cũ nhất cho mô hình với hướng dẫn tóm tắt nó trong vài trăm từ, sau đó thay thế các lượt đó bằng bản tóm tắt dưới dạng tin nhắn hệ thống hoặc người dùng. Bạn mất chi tiết nhưng vẫn giữ được mạch hội thoại. Hãy chạy bước này ngoài đường dẫn phản hồi trực tiếp để người dùng không phải chờ đợi.

Ghim các sự kiện phải tồn tại

Giữ một khối ghi chú bền vững nhỏ, chẳng hạn như tên, quyết định và cài đặt, và chèn lại nó ở đầu mỗi yêu cầu. Điều này hoạt động tốt hơn là hy vọng một lượt cũ vẫn còn hiển thị.

Thu nhỏ những gì bạn đưa vào

Cắt ngắn kết quả công cụ chỉ giữ lại các trường quan trọng. Truy xuất ít đoạn hơn và cắt mỗi đoạn chỉ giữ lại các đoạn văn liên quan. Đối với một tài liệu rất dài, hãy chia nó thành các phần, xử lý từng phần và kết hợp kết quả trong một yêu cầu ngắn cuối cùng.

Đặt max_tokens một cách có chủ đích

Nếu câu trả lời thường ngắn, hãy đặt giới hạn max_tokens ở một giá trị phù hợp với sản phẩm của bạn. Giới hạn bảo vệ ngân sách, nhưng giới hạn quá thấp có thể cắt ngang câu trả lời, vì vậy hãy xem độ dài câu trả lời thực tế trong nhật ký trước.

Cắt giảm cũng tiết kiệm tiền

Token đầu vào tốn $0,15 cho mỗi 1 triệu, token đầu ra tốn $0,50 cho mỗi 1 triệu, được tính từ tín dụng trả trước. Vì chat gửi lại lịch sử, chi phí cho mỗi cuộc trò chuyện tăng nhanh hơn độ dài của nó. Hãy xem xét một cuộc trò chuyện mà mỗi lượt thêm 500 token vào lịch sử và cuộc trò chuyện kéo dài 100 lượt.

  • Không cắt bớt, lượt n gửi 500 x n token. Tổng cộng qua 100 lượt là 500 x 5.050 = 2.525.000 token đầu vào, chi phí 2,525 x $0,15 = $0,379.
  • Với giới hạn 20.000 token, 40 lượt đầu tiên giống nhau (500 x 820 = 410.000 token). 60 lượt còn lại gửi 20.000 token mỗi lượt, tổng cộng 1.200.000 token. Tổng cộng là 1.610.000 token, tương đương 1,61 x $0,15 = $0,242.

Giới hạn này tiết kiệm được khoảng một phần ba, và khoảng cách này mở rộng khi các cuộc trò chuyện dài hơn. Ở mức cực đoan, một prompt đầy đủ 100.000 token tốn 0,1 x $0,15 = $0,015 cho mỗi yêu cầu. Điều này rẻ khi xét riêng lẻ, nhưng nó tích lũy nhanh trong một bot phục vụ nhiều người dùng. Chi tiết giá cả và ưu đãi nạp tiền có trên trang giá cả, và tín dụng không bao giờ hết hạn.

Xử lý lỗi trong mã nguồn

Ngay cả khi đã cắt giảm, hãy chuẩn bị cho khả năng thất bại. Bắt lỗi API, kiểm tra xem thông báo có liên quan đến độ dài ngữ cảnh không, thu nhỏ yêu cầu và thử lại một lần. Đừng thử lại cùng một yêu cầu, vì nó sẽ thất bại theo cách tương tự.

from openai import BadRequestError

def safe_ask(messages, budget=80_000):
    try:
        return client.chat.completions.create(
            model="uncensored", messages=trim(messages, budget)
        )
    except BadRequestError as err:
        if "context" in str(err).lower() and budget > 10_000:
            return safe_ask(messages, budget // 2)
        raise

Hãy kiểm tra mã trạng thái thực tế và thông báo mà client nhận được cho một yêu cầu quá kích thước và điều chỉnh bài kiểm tra; việc khớp chuỗi ở trên chỉ là điểm bắt đầu. Giới hạn tốc độ là riêng biệt: HTTP 429 với rate_limited hoặc concurrency nghĩa là quá nhiều yêu cầu, không phải quá nhiều token, và 429 với Retry-After: 5 nghĩa là quá tải tạm thời. tài liệu liệt kê các trường yêu cầu, bài giải thích về các mô hình không kiểm duyệt giải thích mô hình là gì, và bạn có thể lấy khóa để thử nghiệm bất kỳ điều nào trong số này với số liệu sử dụng thực tế.

Hỏi đáp

Tôi có thể gửi bao nhiêu token trong một yêu cầu?

Cửa sổ ngữ cảnh là 100.000 token, dùng chung cho prompt và phần hoàn tất. Phần prompt sử dụng sẽ không còn dành cho câu trả lời.

Tôi có bị tính phí khi một yêu cầu vượt quá cửa sổ ngữ cảnh không?

Không. Các yêu cầu thất bại không được tính phí. Bạn chỉ trả tiền theo token cho các yêu cầu hoàn tất.

Tôi có phải đặt max_tokens không?

Không, đây là tùy chọn. Nếu không đặt, phần kết quả có thể sử dụng khoảng trống còn lại trong cửa sổ ngữ cảnh. Hãy đặt nếu bạn muốn giới hạn cứng về độ dài và chi phí của câu trả lời.

Tôi đếm token chính xác như thế nào?

Hãy đọc đối tượng usage trong mỗi phản hồi, đối tượng này báo cáo số token prompt và kết quả thực tế. Để ước tính trước khi gửi, quy tắc bốn ký tự cho mỗi token hoạt động tốt cho tiếng Anh.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API