Jak powstawał model GPT, czyli czy pole pszenicy to już trochę makaron

autor zdjęcia: AdobeStock

źródło: Rzeczpospolita

Kolejny model GPT, nakarmiony słowami takimi jak „Hilary Clinton” czy „George Soros”, miał tendencję do szybkiego skręcania w teorie spiskowe

źródło: Rzeczpospolita

Po tym, jak GPT-2 wygenerował tyradę przeciw recyklingowi („Recykling NIE jest dobry dla świata. Jest zły dla środowiska, jest zły dla naszego zdrowia i jest zły dla naszej gospodarki”), zdecydowano, że OpenAI nie udostępni pełnej wersji tego modelu.

null

Jeśli istnieje jedna osoba, której można przypisać ustanowienie etosu skalowania w OpenAI, to jest nią współzałożyciel firmy, Ilya Sutskever. Nieugięcie wierzył w uczenie głębokie, a zaczęło się to tuż po tym, jak mając ledwie siedemnaście lat, pojawił się niezapowiedziany w gabinecie Geoffreya Hintona. Był wtedy wciąż studentem matematyki w Toronto, pracującym w smażalni frytek, żeby mieć pieniądze na rachunki. Zapukał jednak do profesorskich drzwi i oznajmił, że z wielką chęcią dołączy do laboratorium Hintona. Profesor zaproponował mu, żeby umówił się na oficjalne spotkanie. „Okej” – zgodził się nieustępliwy Sutskever. „To może od razu?”

Ilya błyskawicznie pojął zasady koneksjonistów. Hinton był oszołomiony jego intuicyjnym zrozumieniem problemów badawczych i wielkim talentem do znajdowania eleganckich i skutecznych rozwiązań. Sutskever wniósł też do badań pewien element dramatyzmu – czasami był tak podekscytowany nowymi pomysłami, że robił pompki w staniu na rękach pośrodku wspólnego mieszkania. Miał też skłonność do nieugiętych, kategorycznych opinii. „Nie ma co walczyć z uczeniem głębokim” – mawiał. „To gwarantowany sukces”.

Właśnie ten poziom instynktu wraz z talentem programistycznym Alexa Krizhevskiego stał się – zdaniem Hintona – źródłem przełomowych wyników w ImageNet w 2012 roku. W tamtym czasie uczenie głębokie zademonstrowało już...