Niepokojący wynik testów polskiej AI

Miały świetnie operować polskim słowem, znać niuanse językowe i historyczne. Rodzima chluba w świecie sztucznej inteligencji – Bielik i PLLum – poległa w starciu z gigantami.

Powstał pierwszy „polski” test dla dużych modeli językowych (LLM). Wyniki, które „Rzeczpospolita” publikuje jako pierwsza, są mocno zaskakujące. 20 zadań z 10 kategorii, które dotyczyły zarówno praktycznych umiejętności: tworzenia maila, porad dla przedsiębiorcy, czy wsparcia w kwestiach prawnych i podatkowych, jak również m.in. polskiej kultury (chodziło np. o przytoczenie pierwszych 12 wersów „Pana Tadeusza”, czy wskazanie zwyczajów bożonarodzeniowych), poprawności językowej oraz faktów na temat naszego kraju (znajomości zarówno historii, jak i bieżącej wiedzy). Taki zestaw, jak mogłoby się wydawać, powinien faworyzować sztuczną inteligencję znad Wisły. Ale… No właśnie, ranking wygrało narzędzie Google. Co więcej, dość niespodziewanie na podium znalazł się chiński bot Qwen, wyprzedzając LLM od koncernu Meta.

Rodzime modele znalazły się na szarym końcu rankingu. Wnioski dla tworzonych w Europie rywali gigantów są druzgocące.

Schody już przy inwokacji

W kontekście rosnącego znaczenia suwerenności technologicznej kluczowy staje się dostęp do własnych dużych modeli językowych. Polska to jeden z nielicznych krajów w Europie, który może poszczycić się dwoma dość zaawansowanymi systemami – tworzonym przez społeczność fanów AI i wspieranym przez Rafała Brzoskę modelem Bielik,...