API LLM bertarif tetap vs per token: kapan penggunaan tanpa batas lebih menguntungkan

Mengapa tagihan token membengkak lebih cepat dari perkiraan Anda

Model percakapan tidak menyimpan status antarpermintaan: setiap permintaan membawa seluruh percakapan. Ketika percakapan sudah mencapai 50.000 token, seluruh 50.000 token itu dikirim lagi bersama pesan berikutnya, begitu pula seterusnya. Pada sebagian besar tagihan, biaya terbesar berasal dari token masukan, bukan balasan.

Tiga contoh perhitungan

Perhitungan ini hanya mencakup jumlah token; kalikan dengan tarif per sejuta token dari penyedia mana pun untuk mengetahui biayanya.

Dengan pemakaian puluhan hingga ratusan juta token per bulan, tarif per token yang rendah pun cepat menumpuk, dan Anda baru mengetahui totalnya pada akhir bulan. Diskon untuk penyimpanan prompt dalam cache bisa membantu jika tersedia, tetapi ketentuannya berbeda antarpenyedia dan token dalam cache biasanya tetap dikenai biaya.

Apa yang berubah dengan tarif tetap

• Biaya yang bisa diprediksiharganya tetap sama, baik Anda mengirim sepuluh maupun sepuluh ribu pesan.
• Tak perlu membatasi pemakaian sendiriAnda tak perlu lagi memangkas konteks atau menghindari pembuatan ulang jawaban demi menghemat biaya, padahal kebiasaan inilah yang sering menurunkan kualitas hasil.
• Batasnya pada permintaan serentak, bukan volume pemakaianpaket menentukan berapa banyak permintaan yang dapat berjalan bersamaan. Selama mengikuti batas tersebut, pemakaian tidak dibatasi.

Kapan tarif per token lebih menguntungkan

Terus terang: jika Anda hanya mengirim beberapa permintaan singkat dalam seminggu, pembayaran sesuai pemakaian akan lebih murah. Jika Anda memerlukan puluhan permintaan paralel untuk pemrosesan secara berkelompok, penyedia bertarif per token menawarkan kapasitas paralel yang lebih besar. Tarif tetap lebih unggul untuk penggunaan berkelanjutan yang interaktif dan berkonteks panjang: bermain peran, menulis, agen pemrograman, dan riset.

Skema tarif Unquant

Setiap paket mencakup token dan pesan tanpa batas; perbedaan antartingkatan terletak pada model, jendela konteks, dan jumlah stream paralel. Lihat semua paket.