LLM-API's met een vast tarief of betaling per token: wanneer onbeperkt voordeliger is

Waarom je tokenkosten sneller oplopen dan je verwacht

Chatmodellen bewaren zelf geen gespreksgeschiedenis: elk verzoek bevat het hele gesprek. Als een chat is uitgegroeid tot 50.000 tokens, worden die 50.000 tokens bij het volgende bericht opnieuw verstuurd, en bij het bericht daarna weer. Invoertokens vormen het grootste deel van de meeste rekeningen, niet de antwoorden.

Drie rekenvoorbeelden

Deze voorbeelden tonen alleen het aantal tokens. Vermenigvuldig de aantallen met de prijs per miljoen tokens van een aanbieder om de kosten te berekenen.

Bij tientallen tot honderden miljoenen tokens per maand lopen zelfs lage prijzen per token snel op, en je ziet de rekening pas aan het einde van de maand. Kortingen voor het cachen van prompts helpen als een aanbieder ze biedt, maar ze verschillen per aanbieder en meestal betaal je ook voor tokens uit de cache.

Wat een vast tarief verandert

• Voorspelbare kostenje betaalt hetzelfde, of je nu tien berichten verstuurt of tienduizend.
• Je hoeft je gebruik niet te beperkenje hoeft geen context meer in te korten of af te zien van het opnieuw genereren van antwoorden om geld te besparen. Juist die beperkingen gaan vaak ten koste van de kwaliteit.
• Het aantal gelijktijdige verzoeken is de grens, niet het totale gebruikje abonnement bepaalt hoeveel verzoeken tegelijk kunnen worden verwerkt. Daarbinnen is je gebruik onbeperkt.

Wanneer betalen per token voordeliger is

Eerlijk is eerlijk: als je maar een paar korte verzoeken per week verstuurt, is betalen naar gebruik goedkoper. Als je voor batchverwerking tientallen verzoeken tegelijk moet uitvoeren, kun je bij aanbieders met een tarief per token verder opschalen. Een vast tarief is voordeliger bij intensief, interactief gebruik met veel context: rollenspellen, schrijven, programmeeragents en onderzoek.

Hoe de prijzen van Unquant werken

Elk abonnement biedt onbeperkt tokens en berichten. De abonnementen verschillen in model, contextvenster en aantal gelijktijdige streams. Bekijk alle abonnementen.