Ranking pokazuje pierwsze miejsce. Nie mówi czy to narzędzie działa w twojej firmie.

Co jakiś czas pojawia się nowy ranking modeli AI. GPT-4 wyprzedza Claude’a, Claude wyprzedza Geminiego, Gemini goni GPT. Branżowe media to opisują, firmy to czytają, działy IT to cytują na spotkaniach. I wszyscy mają poczucie że wiedzą coś użytecznego.

Prawdopodobnie nie wiedzą.

Marek Jeleśniański — założyciel Oxido, firmy która od kilku lat doradza firmom, uczelniom i instytucjom jak wdrażać AI w polskich warunkach — opublikował w marcu wyniki własnych testów modeli językowych. Nie akademickich. Opartych na tym co widzi u swoich klientów na co dzień.

Metodologia odbiega od standardu: zamiast klasycznych benchmarków — zamkniętych zadań z jedną poprawną odpowiedzią — postawił na scenariusze zawodowe. Szkic maila do klienta. Koncepcja kampanii. Problem menedżerski do rozwiązania. Interpretacja przepisu.

To ważna różnica. Klasyczny benchmark mierzy czy model potrafi rozwiązać zadanie logiczne albo matematyczne. Użytkownik w firmie rzadko potrzebuje rozwiązania zadania logicznego. Potrzebuje sensownego draftu odpowiedzi na reklamację, albo streszczenia umowy napisanej przez prawnika który lubi zdania wielokrotnie złożone.

Wynik? Żaden model nie jest najlepszy we wszystkim. Różnice między czołówką są często zaskakująco małe. A modele które wygrywają benchmarki — niekoniecznie wygrywają w codziennej pracy.

Jest jeszcze jeden wątek, który właściciele polskich firm powinni zanotować osobno.

Modele trenowane są głównie na danych anglojęzycznych. To nie jest tajemnica, ale konsekwencje bywają niedoszacowane. W testach Jeleśniańskiego różnice jakości odpowiedzi w języku polskim okazały się wyraźne — i to nie tylko na poziomie gramatyki. Modele czasem nie rozumieją lokalnego kontekstu biznesowego, specyfiki rynku, realiów prawnych. Odpowiedź jest formalnie poprawna. Praktycznie — bezużyteczna.

Dla firmy działającej wyłącznie na rynku polskim, obsługującej polskich klientów, piszącej po polsku — ranking zbudowany na anglojęzycznych zadaniach ma wartość mniej więcej taką jak test samochodu przeprowadzony wyłącznie na autostradzie, przez kogoś kto jeździ głównie po mieście.

Rankingi mają jeszcze jeden strukturalny problem, który rzadko pojawia się w podsumowaniach: modele językowe nie są deterministyczne. Ten sam prompt, ten sam model, dwa uruchomienia — dwa różne wyniki. Dodaj do tego subiektywność oceny zadań kreatywnych i komunikacyjnych, różne warianty i konfiguracje tego samego narzędzia, różne możliwości w różnych planach cenowych — i otrzymujesz porównanie, które jest migawką, nie mapą.

Migawka może być interesująca. Nie powinna być podstawą decyzji zakupowej.

Co zatem powinno nią być?

Jeleśniański mówi rzecz oczywistą, ale rzadko wykonywaną: testuj sam, na swoich zadaniach, w swoim środowisku. Nie w interfejsie webowym — bo twoi pracownicy prawdopodobnie będą używać integracji z systemami które już masz. Nie na przykładowych promptach — bo twoje prompty są inne. Nie z cudzymi kryteriami oceny — bo twoja firma ma własne priorytety.

Do tego dochodzi coś co rankingi jakościowe w ogóle nie mierzą: koszt, bezpieczeństwo danych, możliwość wdrożenia na własnej infrastrukturze. Ten ostatni aspekt nabiera znaczenia — otwarte modele coraz częściej dorównują komercyjnym, a dla firm gdzie dane są wrażliwe, własny serwer przestaje być egzotyką.

Paradoks rankingów AI jest taki sam jak paradoks rankingów restauracji. Najlepsza restauracja w mieście według przewodnika może nie być najlepsza dla ciebie — jeśli nie lubisz kuchni fusion, masz budżet na dwie osoby i potrzebujesz miejsca gdzie dziecko nie będzie problemem.

Narzędzie AI które wygrywa testy na zadaniach anglojęzycznych, kreatywnych i akademickich — może przegrać na twoim helpdesku, twoich umowach i twoich mailach do dostawców.Jedyny ranking który ma znaczenie dla twojej firmy to ten, który zrobi twoja firma. Na własnych danych. Najlepiej zanim podpisze umowę