Säker dokumentanalys med AI i reglerade verksamheter

Dokumentanalys kan minska tiden för att hitta, jämföra och sammanställa information. I finans, forskning, life science och annan reglerad verksamhet räcker det inte att resultatet verkar rimligt. Informationen behöver behandlas i rätt miljö, åtkomsten styras och varje viktigt påstående kunna kontrolleras.

Samma grundteknik kan användas i flera branscher, men kravbilden skiljer sig. Modell, drift och arbetsflöde ska därför väljas utifrån klassningen på dokumenten som ska analyseras, och hur allvarlig konsekvens ett fel kan medföra.

Vad menas med dokumentanalys?

Dokumentanalys kan omfatta:

• sökning i och frågor om ett dokumentarkiv

• extraktion av belopp, datum, parter eller andra fält

• sammanfattning med källhänvisningar

• jämförelse mellan versioner eller dokument

• klassificering och prioritering

• utkast till rapporter och beslutsunderlag

Strukturerad extraktion och fri sammanfattning har olika risk. Om ett belopp ska föras vidare till en beräkning krävs strikt validering. Ett rapportutkast kan tillåta mer flexibilitet men måste granskas före användning.

Varför reglerade verksamheter kräver mer kontroll

Dokumenten kan innehålla personuppgifter, affärshemligheter, säkerhetsklassad information eller uppgifter som omfattas av sektorskrav. Felaktig utdata kan påverka rapportering, beslut eller tillsyn.

Organisationen behöver därför kunna visa ändamål, dataflöde, åtkomst, modellversion, testning och mänsklig kontroll. I finans kan DORA:s krav på IKT-risk och tredjepartsberoenden vara relevanta.[1] När personuppgifter behandlas gäller GDPR och IMY:s vägledning.[2]

Informationsklassning och modellval

Klassificera dokumenten före modellval. Fråga vilken miljö informationen får lämna, vilka länder och underleverantörer som är tillåtna och vilken retention som accepteras.

Mycket känsliga dokument kan kräva lokal modell i svensk eller annan kontrollerad infrastruktur. Mindre känsligt material kan behandlas i en extern företagstjänst med avtalade villkor. En hybridarkitektur kan välja modell efter klass.

Lokal drift ger kontroll men kräver eget ansvar för patchning, kapacitet och incidenter. Bedöm hela kedjan, inklusive dokumentindex, loggar, backup och administrativ åtkomst.

RAG, källor och spårbarhet

RAG kan hämta relevanta dokumentavsnitt och ge modellen ett kontrollerat underlag. Användaren bör se exakt vilken källa och version som stödjer svaret.

Källhänvisning är inte samma sak som bevis. Testa att källan faktiskt stödjer påståendet. För extraktion bör resultatet länka till sida eller avsnitt och gärna visa den ursprungliga texten bredvid värdet.

Logga modell- och indexversion samt vilka källor som användes. Begränsa loggens innehåll och retention efter klassning.

Behörigheter på dokumentnivå

Användaren ska bara kunna söka i dokument som rollen får läsa. Behörigheten måste följa dokumentet vid indexering och uppdateras när dokumentet flyttas eller åtkomsten ändras.

Administratörsrollen för plattformen ska separeras från rätten att läsa alla dokument. Använd minsta behörighet för integrationskonton och logga privilegierad åtkomst.

Testa samma fråga med flera användarprofiler. Otillåtet material får inte hämtas till modellens kontext.

Test och mänsklig validering

Bygg testfall med representativa dokument, tabeller, skanningar, bilagor och motstridiga versioner. Mät extraktion per fält och källförankring för sammanfattningar.

Testa rätt avslag när texten är oläslig, underlag saknas eller användaren saknar behörighet. För kritiska uppgifter bör en domänexpert godkänna resultatet innan det registreras eller publiceras.

NIST:s GenAI-profil betonar dokumenterad riskhantering, mätning och uppföljning.[3] OWASP:s riskkatalog ger stöd för säkerhetstest av bland annat manipulerade dokument och osäker utdata.[4]

Två olika kravbilder

Forskning och tekniska rapporter

En organisation kan behöva söka, sammanfatta och skapa rapportutkast utan att känslig data lämnar den kontrollerade miljön. Med en lokal modell och RAG kan dokument och analyser hållas inom en avgränsad infrastruktur, samtidigt som forskaren behåller kontrollen över både källor och slutsatser.

Reglerad finansverksamhet

Ett värdepappersbolag kan vilja analysera dokument, generera rapportutkast och stödja kassaflödesanalys. Krav på behörighet, loggning, dokumentversioner och mänskligt godkännande blir centrala. DORA och andra sektorsspecifika krav behöver bedömas och hanteras inom organisationens egen styrning.

Valet mellan en plattformsbaserad och en specialutvecklad lösning bör utgå från den faktiska kravbilden, inte från en förutbestämd arkitektur.

Krav inför en pilot

• Dokumenttyp, ägare och informationsklass är definierade.

• Tillåten modell- och driftmiljö är beslutad.

• Åtkomst följer användare och dokument.

• Extraktion och generering har separata kvalitetsmått.

• Källor visas på relevant detaljnivå.

• Testbiblioteket innehåller svåra och förbjudna fall.

• Mänskligt godkännande är placerat före kritisk användning.

• Loggning och retention är proportionerliga.

• Incidenthantering, backuplösning och exitprocess finns dokumenterat.

• Kundspecifika resultat redovisas med metod, tidsperiod och tydlig källa.

Källor

1. Europeiska kommissionen, DORA – cyber resilience:
   https://finance.ec.europa.eu/digital-finance/cyber-resilience_en

2. IMY, Vägledning om GDPR och AI:
   https://www.imy.se/verksamhet/dataskydd/innovationsportalen/vagledning-om-gdpr-och-ai/

3. NIST, Generative AI Profile:
   https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

4. OWASP, Top 10 for LLM and GenAI Applications:
   https://genai.owasp.org/