(D)oceńmy także czarny scenariusz

Projektując założenia systemu AI, trzeba wziąć pod uwagę nie tylko spodziewane korzyści, ale także związane z nim ewentualne zagrożenia.

Systemy sztucznej inteligencji mogą mieć mniejszy lub większy wpływ na człowieka, jego otoczenie czy nawet całe społeczeństwa. Wpływ ten może mieć bardzo zróżnicowany charakter i konsekwencje, w tym także negatywne. Projektując założenia systemu AI, zazwyczaj skupiamy się na tym, co chcemy osiągnąć, np. zwiększenie sprzedaży czy uproszczenie procesu dla klientów. Często pomijamy jednak ewentualne zagrożenia z nim związane. Systemy zarządzania ryzykiem – jeżeli w ogóle uwzględniają specyfikę AI – rzadko rozwiązują problemy poszczególnych procesów, w których system AI jest wykorzystywany. Tym samym, puszczając nasz system w świat rzeczywisty, narażamy siebie (organizację) oraz naszych klientów (lub całe społeczeństwa) na ryzyka, na które nie jesteśmy przygotowani.

Ocena wpływu

Norma ISO 42001:2023 w pkt 6.1.4 „zachęca”, aby organizacja zdefiniowała proces oceny potencjalnych konsekwencji dla jednostek lub grup jednostek (lub obu) oraz społeczeństw, które mogą wynikać z rozwoju, dostarczania lub użytkowania systemów sztucznej inteligencji [doszczegółowienie zasad znajdziemy m.in. w pkt B.5].

W tym zakresie nie milczy także AI Act, bo w art. 29a znajdziemy wyraźne wskazanie, że:

przed wdrożeniem systemu sztucznej inteligencji wysokiego ryzyka (chodzi o te z załącznika), z wyjątkiem systemów sztucznej...