Kłamstwa i statystyki

Marcin Jaskowski Kiedy big data, czyli duże dane, mogą okazać się dumb data, czyli durnymi danymi – pisze ekspert.

Jestem entuzjastą statystyki i sztucznej inteligencji. Interesują mnie też przypadki błędnego korzystania ze statystyki, które mają dwojakie podłoże: behawioralne związane z niewystarczającym zrozumieniem testów statystycznych i logiki stojącej za założeniami, lub strategiczne związane z poszukiwaniem dowodów pod postawione już tezy.

Rosnący strumień informacji: zdjęć, tekstów, nagrań audio i wideo to fundament big data, czyli ogromnych baz danych, z których możemy korzystać na niemożliwą niedawno skalę. Zdaniem optymistów big data doprowadzi nas do rewolucji technologicznej. Wykorzystanie baz ma pomóc m.in. w leczeniu i zapobieganiu nowotworów, zwalczaniu głodu, odkrywaniu planet, przewidywaniu i reagowaniu na katastrofy naturalne czy powodowane przez człowieka, zapobieganiu przestępstwom, podnoszeniu efektywności polityki rządów. Czas pokaże, czy to uzasadniony optymizm.

Pozorna korelacja

Przeprowadźmy drobny eksperyment w oparciu o realne dane. Załóżmy, że stan Teksas poprosił mnie o pomoc w opracowaniu nowej...