Sneller, slimmer, krachtiger, maar ook duurder. En eerlijk gezegd, het is bijna niet bij te houden welk model het beste is voor welke taak. In het Artific GenAI Research Lab zien we dat veel organisaties met diezelfde uitdaging worstelen: welk model moet je kiezen voor welke taak?
Factoren keuze taalmodel
De keuze welk taalmodel je gebruikt heeft altijd effect op drie factoren:
- hoe snel je antwoord krijgt (latency);
- hoe goed dat antwoord is (kwaliteit);
- en wat het kost in rekenkracht, maar ook in energieverbruik.
Toch gebruiken veel teams meestal het nieuwste, zwaarste model. Maar dat betekent vaak: langer wachten op antwoord en onnodig energieverbruik voor vragen die prima door een eenvoudiger model beantwoord hadden kunnen worden.
Het juiste model voor elke taak
Het is net als het kiezen van een vervoermiddel: je hebt niet altijd een raceauto nodig om je bestemming te bereiken. Maar nu pakken klanten meestal de dikste wagen met de meeste opties. Dat terwijl je soms met de fiets een stuk sneller bent.
Daarom bouwen we bij Artific aan iets wat ik zie als een verkeerssysteem voor AI. Een systeem dat zelf beslist: moet er voor deze route een raceauto op pad, of volstaat een ander vervoermiddel? Deze module kan dus het beste taalmodel selecteren voor een taak.
Zo besparen klanten tijd, kosten en energie, zonder dat de kwaliteit van antwoorden eronder lijdt.
Resultaten automatische modelselectie
Ook in ChatGPT zie je een vergelijkbare functie. Bij GPT-5 kun je zelf schakelen tussen drie modi: auto, instant of thinking. Het idee is dus niet nieuw, maar de uitvoering wél.
Wereldwijd wordt er volop onderzoek gedaan naar hoe je betrouwbaar een model selecteert voor een taak zonder al te veel overhead qua kosten en reactietijd. In het Artific GenAI Research Lab hebben we de ideeën uit verschillende wetenschappelijke publicaties gecombineerd en verder ontwikkeld. De eerste resultaten zijn veelbelovend:
- gemiddeld 50% lagere kosten
- 60% kortere laadtijden
- aanzienlijke energiebesparing
En dat alles zonder merkbaar kwaliteitsverlies en reactietijd.
Clustering van vragen
We hebben dit gerealiseerd door vragen te groeperen in clusters. Elk cluster staat voor een type taak, zoals samenvatten, analyseren of vertalen. Van elk cluster weten we welk AI-model dat soort taken het beste uitvoert. Als iemand de assistent dan een vraag stelt die bij een van die clusters hoort, sturen we die automatisch door naar het model dat daar het meest geschikt voor is.
Partners profiteren eveneens van automatische modelselectie
Ook onze partners profiteren van deze ontwikkeling doordat ze binnen ons platform ook zelf clusters kunnen toevoegen. En zo wordt ook bij hen voor heel klantspecifieke taken automatisch het juiste model gekozen.
Zo zorgen we dat klanten altijd het juiste model gebruiken: snel wanneer het kan, krachtig wanneer het moet.
Meer over Artific
Wil je meer weten over Artific, ons AI-platform of het GenAI Research Lab? Neem contact met ons op via info@artific.nl of 053-203 0123.