Czy AI Act to zabójca modeli „black box”

Przepisy wymagają, aby system dawał możliwość interpretacji wyników. Nie wskazują jednak jasno, do jakiego stopnia powinno mieć to miejsce i czy trzeba pokazać dokładne parametry i wagi zastosowane w procesie wnioskowania.

Jest kilka hipotez dotyczących tego, dlaczego większa część unijnych (nie tylko polskich) banków (chociaż dotyczy to również innych instytucji) nie stosuje w procesie oceny swoich klientów bardziej zaawansowanych modeli uwzględniających więcej czynników pozaekonomicznych. Tak jak robią to chociażby w Chinach, gdzie człowiek nie jest już żadną tajemnicą. Każda z tych hipotez jest w pewnych warunkach poprawna, jak ta o ograniczeniach prawnych, ale jedna jest szczególnie interesująca: Zgodnie z tą hipotezą nie stosujemy czegoś, czego nie jesteśmy w stanie wyjaśnić, a bardziej „zaawansowane” modele, choćby uczenia głębokiego, zdają się zaliczać do tej (nie)chlubnej kategorii.

Ostatnio dostałem równolegle kilka zapytań dotyczących tego, co właściwie w świetle przepisów (głównie AI Act) można, trzeba lub czego nie wolno w kontekście systemów opartych na AI. Punktem wspólnym była tutaj decyzyjność konkretnych rozwiązań i realny wpływ na człowieka. Przypadek? Nie sądzę. A skoro tak, to postanowiłem odświeżyć nieco ten wątek, choć problematykę wyjaśnialności, przejrzystości i interpretowalności poruszam często. Punktem wyjścia niech będzie dla nas art. 13 rozporządzenia (UE) 2024/1689 (wspomniany AI Act) o przekornym i (nie)swojsko brzmiącym tytule „Przejrzystość i udostępnianie informacji...