AI-producten ontwikkelen zich van ondersteunende functies naar systemen die zelfstandig meerdere stappen uitvoeren. Goedkopere basismodellen maken complexere toepassingen mogelijk, maar die toepassingen vragen meer tokens en zetten vaker krachtigere, duurdere modellen in. Gartner spreekt daarom van de ‘Inference Paradox’: betere kosten per eenheid leiden tot hogere totale AI-uitgaven, zonder dat daar vanzelf voorspelbare en evenredige waarde tegenover staat.

'Productverantwoordelijken kunnen niet vertrouwen op efficiëntere tokeneconomie om AI-kosten te rechtvaardigen', zegt Will Sommer, senior director analyst bij Gartner. Volgens hem vereist iedere nieuwe generatie AI-functionaliteit meer, en vaak duurdere, tokens. Een betaalbaar model dat geschikt is voor alle toepassingen, is volgens de analist voorlopig niet in zicht. Organisaties zullen daarom ecosystemen met meerdere modellen moeten ontwikkelen en onderhouden.

Gartner onderscheidt drie ontwikkelingen. De kosten van foundation models dalen snel, terwijl verbeterde efficiëntie de inzet van krachtigere modellen stimuleert. Tegelijkertijd verbruiken geavanceerde workflows aanzienlijk meer tokens dan eenvoudige chatbotgesprekken. De innovatie verloopt daardoor sneller dan de kostendaling.

Het verschil wordt vooral zichtbaar bij AI-agenten. Een chatbot interpreteert een vraag en formuleert een waarschijnlijk passend antwoord. Een agent moet tijdens de uitvoering blijven redeneren, keuzes afwegen en de eigen uitkomsten controleren. Het doorschakelen van een taak naar zo'n redeneermodel verhoogt de inferencekosten voor aanbieders volgens Gartner met minimaal een factor vijf. Bij complexere opdrachten kan de stijging nog groter zijn.

Om rendement te behalen, moeten organisaties volgens Gartner veel hogere opbrengsten realiseren of hun AI-infrastructuur gericht optimaliseren. Daarbij kunnen zij taken verdelen over verschillende inferenceniveaus en modellen, afhankelijk van de benodigde intelligentie. 'Standaard kiezen voor generieke autonome intelligentie resulteert in onbegrensde kosten, die ordes van grootte hoger liggen dan bij geoptimaliseerde productecosystemen', waarschuwt Sommer.