API สำหรับ LLM แบบเหมาจ่ายเทียบกับแบบคิดตามโทเคน: ใช้ไม่จำกัดคุ้มค่าเมื่อไร

ทำไมค่าโทเคนจึงเพิ่มเร็วกว่าที่คาด

โมเดลแชตไม่เก็บสถานะการสนทนาไว้ระหว่างคำขอ แต่ละคำขอจึงต้องแนบบทสนทนาทั้งหมดไปด้วย เมื่อแชตยาวถึง 50,000 โทเคน ข้อความถัดไปก็ต้องส่ง 50,000 โทเคนนั้นซ้ำ และข้อความต่อจากนั้นก็เช่นกัน ค่าใช้จ่ายส่วนใหญ่จึงมาจากโทเคนขาเข้า ไม่ใช่คำตอบ

ตัวอย่างการคำนวณ 3 กรณี

ตัวอย่างเหล่านี้นับเฉพาะโทเคน หากต้องการทราบค่าใช้จ่าย ให้นำจำนวนโทเคนในหน่วยล้านไปคูณกับราคาต่อล้านโทเคนของผู้ให้บริการที่ต้องการ

เมื่อใช้โทเคนเดือนละหลายสิบถึงหลายร้อยล้าน แม้ราคาต่อโทเคนจะต่ำ ค่าใช้จ่ายก็สะสมอย่างรวดเร็ว และคุณจะรู้ยอดก็ตอนสิ้นเดือน ส่วนลดสำหรับการแคชพรอมป์ต์ช่วยได้หากผู้ให้บริการมีให้ แต่เงื่อนไขแตกต่างกันไป และโดยทั่วไปยังคงคิดค่าโทเคนที่แคชไว้

ราคาเหมาจ่ายเปลี่ยนอะไรบ้าง

• คาดการณ์ค่าใช้จ่ายได้จ่ายราคาเท่าเดิม ไม่ว่าจะส่งสิบข้อความหรือหนึ่งหมื่นข้อความ
• ไม่ต้องคอยจำกัดการใช้ของตัวเองไม่ต้องตัดบริบทหรือเลี่ยงการสร้างคำตอบใหม่เพื่อประหยัดเงิน ซึ่งมักเป็นสาเหตุที่ทำให้ผลลัพธ์ด้อยลง
• จำกัดจำนวนคำขอที่ทำงานพร้อมกัน ไม่ใช่ปริมาณการใช้งานแพ็กเกจกำหนดจำนวนคำขอที่ทำงานพร้อมกันได้ ภายในขอบเขตนั้น คุณใช้งานได้ไม่จำกัด

เมื่อไรการคิดตามโทเคนจึงคุ้มกว่า

พูดตรง ๆ ว่า หากคุณส่งคำขอสั้น ๆ เพียงไม่กี่ครั้งต่อสัปดาห์ การจ่ายตามการใช้งานจะถูกกว่า หากต้องส่งคำขอพร้อมกันหลายสิบรายการเพื่อประมวลผลเป็นชุด ผู้ให้บริการที่คิดตามโทเคนจะรองรับการขยายจำนวนคำขอพร้อมกันได้มากกว่า ส่วนราคาเหมาจ่ายจะคุ้มกว่าสำหรับการใช้งานต่อเนื่องที่ต้องโต้ตอบและใช้บริบทยาว เช่น การสวมบทบาท การเขียน เอเจนต์เขียนโค้ด และการวิจัย

Unquant คิดราคาอย่างไร

ทุกแพ็กเกจให้โทเคนและข้อความไม่จำกัด โดยแต่ละระดับแตกต่างกันที่โมเดล ขนาดหน้าต่างบริบท และจำนวนสตรีมคำขอที่ทำงานพร้อมกัน ดูแพ็กเกจทั้งหมด