API LLM giá cố định và tính phí theo token: khi nào dùng không giới hạn sẽ có lợi hơn

Vì sao chi phí token tăng nhanh hơn bạn dự tính

Các mô hình trò chuyện không lưu trạng thái: mỗi yêu cầu đều mang theo toàn bộ cuộc hội thoại. Khi cuộc trò chuyện đã dài tới 50.000 token, tin nhắn tiếp theo sẽ gửi lại cả 50.000 token đó, và các tin nhắn sau cũng vậy. Token đầu vào, chứ không phải phần trả lời, chiếm phần lớn chi phí trong hầu hết các hóa đơn.

Ba ví dụ tính toán cụ thể

Các ví dụ này chỉ tính số token; bạn hãy lấy số token tính theo triệu nhân với đơn giá trên mỗi triệu token của nhà cung cấp để biết chi phí.

Với hàng chục đến hàng trăm triệu token mỗi tháng, ngay cả đơn giá token thấp cũng nhanh chóng cộng dồn thành khoản lớn, và đến cuối tháng bạn mới biết tổng chi phí. Ưu đãi cho token được lưu trong bộ nhớ đệm prompt có thể giúp giảm chi phí nếu nhà cung cấp hỗ trợ, nhưng mức giảm tùy từng bên và token đã lưu đệm thường vẫn bị tính phí.

Giá cố định thay đổi điều gì

• Chi phí biết trướcmức phí vẫn như nhau dù bạn gửi mười hay mười nghìn tin nhắn.
• Không phải tự hạn chế sử dụngbạn không còn phải cắt bớt ngữ cảnh hay ngại tạo lại câu trả lời để tiết kiệm tiền — những việc thường khiến chất lượng đầu ra giảm đi.
• Giới hạn số yêu cầu đồng thời, không giới hạn lượng sử dụngmỗi gói quy định số yêu cầu có thể chạy cùng lúc. Trong giới hạn đó, bạn được sử dụng không giới hạn.

Khi nào tính phí theo token có lợi hơn

Nói thẳng: nếu bạn chỉ gửi vài yêu cầu ngắn mỗi tuần, trả phí theo mức sử dụng sẽ rẻ hơn. Nếu bạn cần chạy song song hàng chục yêu cầu để xử lý theo lô, các nhà cung cấp tính phí theo token có khả năng mở rộng xử lý đồng thời tốt hơn. Giá cố định có lợi hơn khi bạn sử dụng thường xuyên, có tương tác và cần ngữ cảnh dài: nhập vai, viết lách, tác nhân lập trình và nghiên cứu.

Cách Unquant tính phí

Mọi gói đều bao gồm token và tin nhắn không giới hạn; các cấp gói khác nhau về mô hình, cửa sổ ngữ cảnh và số luồng yêu cầu đồng thời. Xem tất cả các gói.