Czy Big Data jest przereklamowana?

Tradycyjne badania opinii bazują na mniejszych lub większych próbach dobieranych z badanej populacji. Zawsze jednak pomimo dbałości o reprezentatywność próby, obarczone są błędem statystycznym.

W przypadku systemów wykorzystujących Big Data analizy dokonywane są na olbrzymich zbiorach danych jakimi mogą być dyskusje w mediach społecznościowych, forach dyskusyjnych czy choćby zapytania w wyszukiwarkach. Na pierwszy rzut oka prawdopodobieństwo wyciągnięcia właściwych wniosków wydaje się dużo większe.

Jednak analitycy Microsoftu po przeanalizowaniu wielkich zbiorów danych doszli do błędnych wniosków wskazując na Ukrainę jako czarnego konia naszej grupy eliminacyjnej. W bezpośrednim starciu więcej szans dawali naszym sąsiadom (38% do 30%), a w meczu z Niemcami zdecydowanie wskazywali na naszą porażkę (64%). Z 36 meczów fazy grupowej, aż 21 razy błędnie wytypowali wynik meczu. 

Pomylił się również UNU – tak zwany "hive mind" czyli rodzaj inteligencji zbiorowej, która wykorzystuje odpowiedzi ludzi do przewidzenia odpowiedniego wyniku. Tuż przed referendum w Wielkiej Brytanii sztuczna inteligencja odpowiadała na pytania użytkowników serwisu społecznościowego Reddit, a jednym z pytań była kwestia nadchodzącego Brexitu. UNU wątpił w wyjście Wielkiej Brytanii z Unii Europejskiej i jak się okazało niesłusznie. Brytyjczycy zadecydowali inaczej.

Jeśli kontent jest królem to kontekst jest bogiem

Autorem powyższego stwierdzenia jest Gary Vaynerchuk i choć odnosi się do mediów zwraca uwagę na niezwykle ważny aspekt. Aby uzyskać reprezentatywne wyniki lepiej jest analizować mniej danych, ale odpowiednich. Nie znamy metodyki powyższych analiz można jednak przypuszczać, że pominięte zostały istotne zbiorowości i informacje. W przypadku referendum w Wielkiej Brytanii prawdopodobnie nie uwzględniono preferencji osób będących poza „siecią”, zaś w przypadku naszej reprezentacji geniuszu Nawałki 😉 .

Fetysz wielkich liczb to zmora internetu, co widać również w mediach. Domy mediowe i marketerzy chętnie żonglują liczbami odsłon, aby omamić klientów. Przecież na wielkim portalu są WSZYSCY! Czy jednak wszyscy chcą oglądać wszystko?

Czy czytelnicy bloga stworzonego dla młodych pasjonatów nowych technologii chcą przeczytać tekst sponsorowany o „bezpiecznej sieci w firmie – nie tylko dla korporacji”? Intuicja podpowiada, że raczej niekoniecznie, a zamieszczone pod tekstem komentarze tylko utwierdzają w tym przekonaniu.

Niestety „doradcy” firmy Hewlett Packard nie byli w stanie (???) tego przewidzieć, żyjąc w paradygmacie wyścigu odsłon. Wielkie zbiory danych dają niewyobrażalnie wielkie możliwości, ale ich analiza wymaga inteligencji – niekoniecznie sztucznej. Liczy się bowiem kontekst.