VORTIQ-X udfordrer NVIDIA: Ny benchmark stopper 89 procent af AI-kald

Det europæiske AI-styringslag ønsker at ændre, hvordan virksomheder bygger AI, ved at stoppe unødvendige modelkald, før de når GPU'en. Ifølge virksomheden viser nye benchmarkresultater, at op til 89 procent af AI-kald kan undgås, selv før de udføres.

Den dyreste AI er den, der aldrig burde have været brugt. Det er udgangspunktet for benchmarkresultaterne, der VORTIQ-X Consilium Virksomheden siger, at resultaterne viser, at dens AI-styringsplatform kan stoppe, tilbageholde eller helt undgå unødvendige AI-udførelser, før de når produktion, hvilket reducerer modelkald, tokenforbrug og GPU-strømforbrug, samtidig med at legitime arbejdsgange kan fortsætte uden unødvendige forsinkelser.

Publikationen rejser også et større spørgsmål om udviklingen af AI-markedet. Hvis den største omkostning, energiforbrug og sikkerhedsrisiko ligger i AI-processer, der aldrig burde have været startet, hvorfor fortsætter branchen så med at fokusere på hurtigere computerkraft i stedet for at kontrollere, hvilke AI-beslutninger der overhovedet må implementeres?

Fra AI-acceleration til AI-kontrol

I de senere år har AI-industrien været domineret af investeringer i kraftigere GPU'er, større sprogmodeller og højere ydeevne. NVIDIA er blevet verdens mest værdifulde teknologivirksomhed ved at levere infrastrukturen bag denne udvikling, samtidig med at løsninger som NeMo Guardrails fokuserer på sikkerheden omkring modellernes reaktioner.

VORTIQ-X mener imidlertid, at den virkelige udfordring i regulerede virksomheder ikke længere handler om, hvor hurtigt AI kan virke.

Det afgørende spørgsmål er i stedet, om AI overhovedet skal have lov til at handle, før den flytter penge, åbner følsomme oplysninger, ændrer forretningssystemer eller påvirker kritiske operationer. Ifølge virksomheden træffes denne beslutning i et separat styringslag, der ligger oven på modeller, cloudplatforme og hardware, og som ikke ejes af nogen enkelt leverandør.

“"Acceleration driver AI. Autoritet styrer AI. Det strategisk vigtige spørgsmål for enhver organisation er ikke længere, hvilken GPU der bruges, men hvem der styrer selve beslutningen oven på infrastrukturen. Det lag fungerer oven på både NVIDIA og andre acceleratorplatforme."”

Benchmark viser massiv reduktion i AI-opkald

I en to timer lang benchmarktest, der omfattede 19.676 AI-hændelser og 18.682 beskyttede AI-handlinger VORTIQ-X rapporterer følgende resultater:

• 1.890 hændelser relateret til modelintegritet blev stoppet eller tilbageholdt, før nogen AI-model blev udført, svarende til en stoprate på 38,78 procent.
• 0 uautoriserede godkendelser.
• 0 forkerte rutebeslutninger.
• 0 uventede slutpunktsfejl.
• 0 overtrædelser af opbevaringspolitikken.
• Genafspilningsverifikation blev udført uden afvigelser, og simulerede manipulationsforsøg blev korrekt identificeret.
• Falske positive resultater rapporteres at være under én procent. Virksomhedens interne tests på tværs af otte forskellige sprogmodeller rapporterer ingen falske positive resultater.

Benchmarken viser også, at:

• 6.480 ud af 7.200 modelopkald kunne undgås, svarende til 90 procent.
• Om 604.080 tokens aldrig behøvede at blive genereret, en reduktion af 90,1 procent.

Separat benchmark viser reduceret GPU-strømforbrug

I en selvstændig benchmark med fokus på energiforbrug rapporterer VORTIQ-X:

• 23.930 undgåede modelopkald
• Om 4,1 millioner tokens undgået
• 14,42 procent reduktion i det samlede målte GPU-strømforbrug.
• 65,27 procent reduktion af dynamisk inferensenergi, når tomgangsforbrug er udelukket.

Virksomheden understreger, at resultaterne varierer afhængigt af arbejdsbyrde, modeller og politikkonfigurationer, men beskriver benchmarken som bevis på, at mellem ca. 38 og 90 procent af unødvendig AI-udførelse kan undgås afhængigt af applikationen.

Stop AI, før omkostningerne opstår

Ifølge VORTIQ-X Den store gevinst handler ikke om at gøre hvert eneste AI-opkald billigere.

I moderne agentbaserede AI-miljøer kan et enkelt forkert eller ubekræftet svar føre til nye modelkald, flere AI-agenter, flere værktøjskald og øgede omkostninger i hele infrastrukturen.

Virksomhedens strategi er derfor at stoppe disse kædereaktioner, før de overhovedet starter.

Ifølge VORTIQ-X er den billigste, mest energieffektive og sikreste AI-udførelse den, der aldrig behøver at køre.

Kontrol i realtid uden mærkbar forsinkelse

En almindelig indvending mod kontrol før udførelse er risikoen for højere svartider. Ifølge VORTIQ-X viser benchmarkresultaterne følgende p95-latenstider under fuld belastning:

Ifølge virksomheden betyder det, at AI-kontrol kan ske i realtid uden at blive en mærkbar belastning for ydeevnen.

Reducerede omkostninger og lavere risiko

For organisationer, der bruger AI, betyder ethvert undgået modelkald:

• lavere omkostninger for tokens,
• mindre GPU-forbrug,
• lavere energiforbrug,
• reduceret CO2-aftryk,
• reduceret regulatorisk og juridisk risiko.

VORTIQ-X mener derfor, at AI-styring er ved at udvikle sig fra at være en sikkerhedsfunktion til at blive et værktøj til både omkostningskontrol og mere effektiv AI-infrastruktur.

Bygget til flere modeller og platforme

Virksomheden beskriver sin løsning som et supplerende styringslag snarere end en erstatning for eksisterende AI-platforme.

VORTIQ-X er designet til at fungere oven på forskellige sprogmodeller, cloudplatforme og acceleratorer og kan bruges i private AI-miljøer, lokale installationer, air-gapped-systemer, bare metal-infrastruktur, suveræne clouds, multi-agent-systemer, RAG-arkitekturer, robotteknologi og automatiserede arbejdsgange.

Virksomheden oplyser også, at teknologien er baseret på svensk immaterialret med patentansøgninger indgivet gennem det svenske patent- og registreringskontor (PRV). Platformen er designet til at give kunderne mulighed for at vælge, hvor data gemmes, og hvilken jurisdiktion der gælder, uden afhængighed af en enkelt cloud-udbyder.

Benchmarken er åben til gennemgang

VORTIQ-X understreger, at benchmarkresultater ikke bør accepteres ukritisk.

Metode, testopsætning og resultater er tilgængelige til gennemsyn, og virksomheden opfordrer kunder, forskere og aktører i branchen til selv at evaluere løsningen i deres egne AI-miljøer.

“"Vi er ikke bange for at blive gransket. Tværtimod ønsker vi at blive testet. Den eneste kunstige intelligens, der hører hjemme i banker, hospitaler, offentlige institutioner eller kritisk infrastruktur, er kunstig intelligens, hvis beslutninger kan bevises at være blevet vejledt, før den handlede. Enhver, der sælger kunstig intelligens-acceleration, bør spørge sig selv, hvem der rent faktisk ejer dette bevis. Svaret er ikke chipproducenten."”

Raymond Steen, CTO og medstifter, VORTIQ-X Consilium

Om VORTIQ-X Consilium

VORTIQ-X Consilium er en AI-teknologivirksomhed med svenske immaterielle rettigheder, der udvikler deterministisk AI-styring i realtid til regulerede og missionskritiske miljøer. Virksomheden fokuserer på verificerbar styring, revisionsbarhed, cybersikkerhed og suveræn AI-implementering for organisationer i Europa, Mellemøsten og Afrika.