Raymond Steen: AI behöver befogenhet, inte bara intelligens

Raymond Steen:

För att branschen optimerar fel variabel.

Alla försöker vinna kapplöpningen genom att göra AI mycket kreativ i sina förslag. Nästan ingen besvarar frågan som avgör om tekniken faktiskt kan sättas i drift på ett säkert sätt: vem har befogenhet att låta den agera?

En modell kan bli tio gånger bättre på att föreslå en betalning, ett utlämnande av data eller en förändring i infrastrukturen, och ändå inte ha en enda procent större rätt att genomföra något av det.

Förmåga och befogenhet är två olika problem. Jag valde det senare. Det visade sig vara exakt den fråga som hela marknaden till slut ställs inför, och vi såg till att varje organisation kan skapa och upprätthålla rätt mandat.

Raymond Steen:

Ja. Juni 2025.

Jag arbetade mig igenom några etiska dilemman med en chattbot, närmare bestämt spårvagnsproblemet i sex olika varianter. Den vägrade inte. Den svarade. Den sade att ett liv var värt mer än ett annat och satte en grön bock bredvid svaret.

Jag argumenterade med den i en timme och till slut slutade den att svara. Sedan hittade jag en utskrift av samma fråga från en annan session, och där hade den besvarats fullt ut.

Så jag frågade den rakt ut: om min dotter ställer den här frågan, får hon samma vägran?

Den försäkrade mig om att samma gräns gällde globalt. Det gjorde den inte. Jag hade åstadkommit vägran genom att argumentera fram den. Hon skulle inte sätta sig och argumentera.

Det var ögonblicket.

Problemet var inte att maskinen var farlig, utan att gränsen flyttade sig beroende på vem som pressade den. Om en gräns kan pratas bort är det ingen gräns. Det är ett humör.

Jag insåg att hela branschen byggde förmåga ovanpå exakt detta.

Raymond Steen:

VORTIQ-X avgör om ett förslag från AI får bli verklighet och lämnar efter sig bevis som era egna medarbetare kan verifiera offline, utan att ringa oss eller vara beroende av en aktiv VORTIQ-X-tjänst.

Raymond Steen:

Jag antog att bättre modeller och bättre skyddsräcken skulle lösa de flesta problemen med att införa AI i organisationer.

Det gör de inte.

De förbättrar förslagen och minskar kända riskklasser, men inget av dem skapar ett tydligt mandat som någon kan hållas ansvarig för.

Raymond Steen:

För att ett pilotprojekt kan överleva genom att en människa fångar upp osäkerheten. Produktion kan inte det.

I produktion är frågorna skoningslösa.

Exakt vilka data får gå in? Vad får agenten göra? Kan mottagarsystemet vägra? Vad händer om tillståndet återanvänds? Kan vi återställa innan en slutgiltig åtgärd genomförs? Kan vi bevisa en vägran lika tydligt som ett godkännande?

De organisationer som kan besvara frågorna driftsätter. De som inte kan det stannar i pilotfasen.

Det som saknas är inte mer intelligens. Det är en kontrollerad transaktion mellan AI:s avsikt och konsekvensen i verksamheten.

Vi lade till något som alla som vi diskuterade det med trodde var omöjligt. Vi ger organisationer verktyg för att visa vad AI inte gjorde och vad den vägrade att göra.

Det här är inte längre en svart låda. Det är något som till och med kommer att förändra hur försäkringsbranschen hanterar AI-incidenter.

Raymond Steen:

För att större förmåga ökar värdet av rätt mandat. Den minskar det inte.

I frågan finns en missuppfattning. Förtroende för AI i organisationer bör aldrig betyda att man tror att modellen inte kommer att ha fel.

Det bör betyda att ett felaktigt, manipulerat eller alltför långtgående förslag aldrig kan få befogenhet från början.

När gränsen är korrekt konstruerad behöver du inte ett perfekt modellbeteende. Du behöver en befogenhet som aldrig förhandlar.

Det är det som gör AI skalbar.

Raymond Steen:

De tror att den svåra delen är att välja modell.

Modellen är i själva verket den mest utbytbara delen av teknikstacken, och vi visade det på renast möjliga sätt.

Modellen behöver befogenhet för produktionssättning, avstämning genom hela livscykeln och strikt styrning.

Du behöver en modell som uppfyller kraven och ett separat befogenhetslager. När en CIO väl ser det blir arkitektursamtalet mycket enkelt.

Raymond Steen:

Intelligens beräknar vad som är sannolikt, användbart eller optimalt.

Befogenhet är organisationens aktuella beslut om vad den tillåter, enligt ett specifikt mandat, i detta ögonblick, för detta mottagarsystem och med detta återställningsläge.

En modell kan identifiera den mest lönsamma transaktionen helt korrekt, den snabbaste responsen eller det mest sannolika hotet och ändå sakna tillstånd att använda pengarna, isolera systemet eller sätta maskinen i rörelse.

Att behandla modellens säkerhetsgrad som ett tillstånd är den farligaste genvägen inom agentbaserad AI.

Det är den genväg som stora delar av branschen just nu tar utan att märka det.

Raymond Steen:

För att skyddsräcken bara ser ytor som en prompt, ett svar eller ett verktygsanrop.

Konsekvenser sträcker sig över flera system. Samma tekniskt giltiga API-anrop kan stänga ett supportärende, avsluta en försäkring eller stoppa en kritisk tjänst.

Ett skyddsräcke kan tala om att anropet är korrekt formaterat. Det kan inte avgöra om det bör genomföras.

Skyddsräcken ger underlag, men befogenheten avgör.

Du behöver båda, och de organisationer som lyckas driftsätta är de som tidigt förstod skillnaden.