Kto powinien oceniać algorytm, który decyduje o twoim zdrowiu?

Wyobraź sobie, że system komputerowy analizuje twoje dane medyczne i na tej podstawie decyduje, czy w przyszłym roku trafisz do szpitala. Nie lekarz. Nie komisja. Algorytm.

Brzmi jak science fiction? W Szkocji to już rzeczywistość. System SPARRA — Scottish Patients at Risk of Readmission and Admission — od lat pomaga NHS Scotland przewidywać, którzy pacjenci będą wymagać hospitalizacji. Podobne narzędzia pojawiają się w edukacji, finansach, administracji publicznej. Cicho, sprawnie, bez fanfar. I tu zaczyna się problem.

Kto pilnuje algorytmu?

Przez lata odpowiedź była prosta: inżynierowie i data scientists, którzy go stworzyli. To oni decydowali, czy system działa „fair”. To oni definiowali, co w ogóle znaczy „fair”.

Brzmi rozsądnie — dopóki nie zadasz kolejnego pytania: a kto pilnuje inżynierów? Badacze z kilku brytyjskich uczelni — Glasgow, Sheffield, Stirling, Strathclyde i York — postanowili sprawdzić, co się stanie, jeśli do oceny systemów AI zaprosimy kogoś zupełnie innego. Nie eksperta. Pacjenta. Nauczyciela. Rodzica.

Wyniki są zaskakujące — i trochę zawstydzające dla branży.

Siedemnaście osób bez wiedzy technicznej. I co z tego wyszło?

Warsztaty trwały kilka sesji. Siedemnaście osób — bez żadnego przygotowania technicznego — dostało zadanie: oceńcie dwa systemy AI. Pierwszy to wspomniany SPARRA. Drugi to SAM (School Attachment Monitor) — prototyp narzędzia, które analizuje mowę dzieci w wieku 5–9 lat, żeby pomóc psychologom ocenić więź dziecka z opiekunem.

Uczestnicy mieli zidentyfikować potencjalne skutki działania tych narzędzi — dobre i złe — oraz zaproponować, jak je mierzyć.

Efekt? Uczestnicy bez trudu wskazali problemy, których twórcy systemów najwyraźniej nie wzięli pod uwagę. Nie dlatego, że byli mądrzejsi od inżynierów. Dlatego, że patrzyli z innego miejsca — z miejsca człowieka, którego ta technologia dotyczy.

Pacjent widzi inne ryzyka niż programista. Rodzic zadaje inne pytania niż data scientist. I właśnie o to chodzi.

Move fast and break things — ale kogo?

Przez lata Silicon Valley żyło mantrą „działaj szybko i psuj rzeczy”. W świecie startupów to miało sens — psułeś aplikację do zamawiania pizzy, poprawiałeś, szłeś dalej.

Problem w tym, że ta filozofia przeniosła się do systemów, które decydują o czymś więcej niż dostawa jedzenia. O tym, czy dostaniesz kredyt. Czy twoje dziecko trafi do odpowiedniej grupy wsparcia. Czy zostaniesz zakwalifikowany jako pacjent wysokiego ryzyka.

Tutaj „psowanie rzeczy” ma twarz. Ma adres. Ma historię choroby.

Dr Patrizia Di Campli San Vito, jedna z autorek badania, ujęła to wprost: „Participatory auditing oferuje nowy argument sprzedażowy dla AI: ta aplikacja została sprawdzona przez różnorodną grupę ludzi od samego początku. To czyni ją bezpieczniejszą i bardziej wiarygodną niż oprogramowanie tworzone w filozofii 'move fast and break things’.”

To nie jest tylko etyczny postulat. To potencjalna przewaga konkurencyjna.

Trzy rzeczy, których nauczyli się badacze

Wyniki warsztatów przyniosły kilka konkretnych wniosków, które warto zapamiętać — szczególnie jeśli w twojej firmie lub instytucji wdrażasz lub planujesz wdrożyć jakikolwiek system automatycznego podejmowania decyzji.

• Po pierwsze: ludzie chcą być pytani. Wszyscy uczestnicy badania wyrazili silne przekonanie, że osoby dotknięte działaniem AI powinny być włączone w jej tworzenie — najlepiej od etapu projektowania. Nie na końcu, jako focus group do zatwierdzenia gotowego produktu. Od początku.
• Po drugie: ocena nie zawsze jest czarno-biała. Uczestnicy czuli się skrępowani, gdy musieli oceniać aspekty systemu jako „zaliczone” lub „niezaliczone”. Rzeczywistość jest bardziej złożona — i domagali się trzeciej opcji: „nie wiem, to zależy, to wymaga rozmowy”. Brzmi miękko, ale to uczciwe odzwierciedlenie tego, jak działają społeczne skutki technologii.
• Po trzecie: potrzebne są narzędzia. Uczestnicy radzili sobie z identyfikacją problemów, ale gubili się przy próbie ich mierzenia. Kiedy jednak dostali konkretne przykłady metryk i instrukcje krok po kroku — dawali radę. Wniosek: nie brakuje chęci ani intuicji. Brakuje scaffoldingu — rusztowania, które pozwoli nieekspertom działać skutecznie.

Co to ma wspólnego z Polską?

Więcej, niż mogłoby się wydawać. Unijny AI Act, który wszedł w życie w 2024 roku, nakłada na organizacje wdrażające systemy wysokiego ryzyka obowiązek ich oceny i monitorowania. Ochrona zdrowia, edukacja, zatrudnienie, dostęp do usług publicznych — to wszystko kategorie objęte regulacją.

Polskie firmy i instytucje publiczne, które dziś wdrażają AI w tych obszarach, będą musiały udowodnić, że ich systemy są bezpieczne i sprawiedliwe. Pytanie brzmi: jak to udowodnić? Audyt wewnętrzny przeprowadzony przez ten sam zespół, który system stworzył, ma oczywiste ograniczenia.

Participatory auditing — audyt z udziałem użytkowników i osób dotkniętych działaniem systemu — może być jedną z odpowiedzi. Nie jedyną, nie gotową, ale wartą uwagi.

Jeden problem pozostaje otwarty

Badanie ma swoje ograniczenia. Siedemnaście osób to nie reprezentatywna próba. Warsztaty to nie wdrożony standard. Autorzy sami przyznają, że pracują nad kompleksowym frameworkiem — jeszcze go nie mają.

Ale kierunek jest właściwy. Bo pytanie „kto powinien oceniać algorytm, który decyduje o twoim zdrowiu?” nie jest pytaniem technicznym. Jest pytaniem o to, kto ma głos w sprawach, które nas dotyczą. I na razie odpowiedź brzmi: zbyt często — nikt poza tymi, którzy ten algorytm napisali.

Źródło: University of Glasgow / Responsible AI UK / EPSRC