AI-agenter är redan på väg in i verksamhetskritiska processer, men styrning, insyn och ansvar utvecklas inte i samma takt. Det ökar risken för ”rogue agents” – system som agerar inom organisationens ramar men utan tillgång till hela affärskontexten. Om ledningen förlitar sig på deras beslut kan följderna snabbt bli både operativa och finansiella. Ansvaret stannar alltid hos organisationen – inte hos tekniken.
Hanna Björnbom är AI-ansvarig på SAP i Sverige och möter utmaningarna över hela landet.
– För svenska företag, kommuner och myndigheter är det här redan verklighet. AI används i centrala processer och när systemen får större handlingsutrymme måste styrning, insyn och kontroll öka i samma takt. Annars bygger vi in risk i kärnverksamheten, säger Hanna. 
Ett exempel är upphandling. En AI-agent kan analysera historiska data och välja leverantör utifrån tidigare mönster. Det låter effektivt – tills förutsättningarna har ändrats. Om agenten inte har hela affärskontexten riskerar den att missa dolda risker, nya krav eller uppdaterade villkor. Det kan handla om allt från färska leverantörsdata och riskklassificeringar till kontraktsförpliktelser och aktuella affärsregler.
– Jag har sett hur leverantörer hinner integreras, avtal skrivas och beroenden byggas upp innan bristerna blir synliga. När problemet väl är ett faktum kan AI-agentens beslut ha varit korrekt utifrån de data den hade tillgång till, men ändå helt fel ur ett affärsperspektiv. Det är just sådana beslut som kostar mest, eftersom de framstår som rimliga ända tills konsekvenserna visar sig, menar hon.
Det här är inte ett enskilt undantag som kan rättas till med lite finjustering. Det är en följd av att tekniken går från att stödja beslut till att själv fatta dem i processer där misstag kan få stora konsekvenser.
Ramarna för AI måste finnas från start
Att systemen fungerar tekniskt räcker inte. Ledningen måste kunna visa hur beslut fattas, vilka data som används, vilka regler som väger tyngst och var gränserna går. Utan den insynen går besluten varken att förstå, granska eller ta ansvar för. Det är inte mogen automatisering, utan ett risktagande med potentiellt stora konsekvenser.
Enligt Hanna kan styrning inte klistras på i efterhand när skadan redan är skedd. Den måste byggas in i hur systemen designas, tränas och används. De organisationer som sätter ramarna tidigt har bättre förutsättningar att lyckas med AI än de som enbart prioriterar snabbhet.
– Vi måste helt enkelt bestämma vilka beslut som kan automatiseras, var mänsklig kontroll behövs och hur avvikelser ska hanteras. Dessutom måste vi lägga till spårbarhet så att vi kan följa varje steg i beslutskedjan och se varför ett visst beslut togs, säger hon.
Datakvalitet är fortfarande avgörande, men korrekta data räcker inte. Systemen behöver också förstå sammanhanget. Definitioner, relationer och affärslogik måste därför vara tydliga och gemensamma. Begrepp som leverantör, KPI och åtagande måste betyda samma sak för både människor och system.
Behandla AI-agenterna som nya medarbetare
För ett bolag som SAP är verksamhetens processer centrala. I praktiken innebär det att AI behöver arbeta nära organisationens data, i stället för att dessa lyfts ut till frikopplade modeller eller förenklade bilder av verkligheten. När processerna hänger ihop och definitionerna är gemensamma ökar möjligheten att få tillförlitliga resultat. Annars riskerar AI att hamna vid sidan av den verksamhet som tekniken ska stödja.
– Jag brukar jämföra med hur vi ser på organisationer i övrigt. Inget företag skulle acceptera att medarbetare fattar beslut utan insyn, tydliga riktlinjer eller uppföljning. Men det är i praktiken det som kan hända när AI införs utan motsvarande styrning, säger Hanna.
Begreppet ”rogue agents” är inte främst en teknisk term, utan en påminnelse om vad som händer när ansvar och kontroll inte utvecklas i samma takt som tekniken. Enligt Hanna bör en AI-agent därför behandlas som en ny medarbetare när det gäller introduktion och styrning. Den behöver tydliga instruktioner, avgränsade befogenheter och löpande uppföljning.
Runt om i Europa blir frågan alltmer konkret i takt med att kraven på transparens, regelefterlevnad och ansvar skärps. Organisationer måste kunna visa hur ett beslut har fattats och på vilka grunder – även när en AI-agent har varit inblandad. Den som inte kan förklara besluten kommer till slut inte heller att kunna försvara dem.
Därför kan AI inte vara ett frikopplat lager. Den måste arbeta nära organisationens egna data och omfattas av samma krav på ansvar, behörighet och spårbarhet som resten av verksamheten.
– Mitt budskap till Sveriges vd:ar och ledningar är enkelt: innan vi ger AI-agenter mer mandat måste vi veta vem som får fatta vilka beslut, vad som kräver mänsklig kontroll och hur vi följer upp när något går fel. Annars riskerar vi att automatisera bort just det som ska skydda verksamheten, säger Hanna Björnbom.
