Narastający problem liczby danych

EMC Corporation podała wyniki badania IDC Digital Universe, „Extracting Value from Chaos” (Wydobywanie wartości z chaosu), według którego ilość informacji na świecie wzrasta przeszło dwukrotnie co dwa lata. W 2011 r. zostanie utworzonych i zreplikowanych 1,8 zetabajtów — jest to wzrost szybszy, niżby to wynikało z prawa Moore’a. Badanie było sponsorowane przez firmę EMC.

Ile to jest 1,8 zetabajta

• Każdy mieszkaniec Stanów Zjednoczonych wysyła ciągle 3 wiadomości tweet na minutę przez 26 976 lat.
• Każda osoba na świecie ma codziennie ponad 215 milionów skanów MRI wysokiej rozdzielczości

• Ponad 200 miliardów dwugodzinnych filmów HD — obejrzenie wszystkich zajęłoby jednej osobie 47 milionów lat (gdyby je oglądała przez całą dobę).

• Ta ilość informacji zapełniłaby 57,5 miliarda urządzeń Apple iPad z pamięcią 32 GB. Z tylu iPadów można by:

1. zbudować mur o długości 6408 km i wysokości 18,6 m, rozciągający się od Anchorage na Alasce do Miami na Florydzie;
2. zbudować Wielki Mur Chiński o dwukrotnie większej średniej wysokości niż oryginał;  
3. zbudować mur o wysokości 6 m wokół Ameryki Południowej;
4. pokryć 86% Mexico City;
5. zbudować górę 25 razy wyższą niż Mt. Fuji.

Za tym niepohamowanym wzrostem danych stoją technologie i pieniądze. Nowe technologie „opanowywania danych” obniżają koszty tworzenia, zbierania i przechowywania informacji oraz zarządzania nimi — do jednej szóstej w 2011 r. w porównaniu z 2005 r. Ponadto od 2005 r. roczne inwestycje przedsiębiorstw w Digital Universe (Cyfrowy Wszechświat) — przetwarzanie w chmurze, sprzęt, oprogramowanie i personel, związane z tworzeniem i przechowywaniem informacji oraz osiąganiem z nich przychodów — wzrosły o 50%, do 4 bilionów USD.

Serwery są – brak administratorów

IDC zwraca uwagę, że kwalifikacje, doświadczenie i liczba pracowników mających zarządzać tym zalewem danych nie są wystarczające we wszystkich obszarach wzrostu. W okresie najbliższej dekady (do 2020 r.) działy informatyczne na całym świecie znajdą się w następującej sytuacji:

• 10-krotny wzrost liczby serwerów (wirtualnych i fizycznych);
• 50-krotny wzrost ilości informacji, którymi trzeba zarządzać;
• 75-krotny wzrost liczby plików lub kontenerów zawierających informacje
  w cyfrowym wszechświecie — jest on większy od samego przyrostu informacji
  z powodu upowszechnienia systemów wbudowanych, takich jak czujniki w odzieży, mostach, urządzeniach medycznych itd.;
• 1,5-krotny wzrost liczby wykwalifikowanych informatyków do zarządzania tym wszystkim.

Koszty i efektywność operacyjna przetwarzania w chmurze

Obecnie koszty przetwarzania w chmurze stanowią niecałe 2% wydatków na informatykę, jednakże IDC szacuje, że do 2015 r. prawie 20% informacji będzie miało styczność z firmami świadczącymi takie usługi — oznacza to, że gdzieś na drodze bajtu od źródła do miejsca przeznaczenia będzie on przechowywany lub przetwarzany w chmurze. Być może aż 10% będzie utrzymywanych w chmurze.

Cyfrowy cień rządzi się własnymi prawami. Ilość informacji tworzonych przez samych użytkowników — w trakcie sporządzania dokumentów, fotografowania, pobierania muzyki itd. — jest znacznie mniejsza od ilości informacji tworzonych w związku z nimi w cyfrowym wszechświecie.

Udział i odpowiedzialność przedsiębiorstw

Wprawdzie 75% informacji w cyfrowym wszechświecie wytwarzają poszczególne osoby, ale przedsiębiorstwa w pewnym stopniu odpowiadają za 80% istniejących w nim informacji w jakimś punkcie ich cyfrowego życia.

„Ciągły chaotyczny i niepowstrzymany wzrost ilości informacji stwarza też ogromne możliwości — stymuluje przemiany w społeczeństwie, technologii, nauce i gospodarce. Big Data (wielkie zbiory danych) wymuszają zmianę sposobu zarządzania najważniejszym zasobem przedsiębiorstw, jakim jest informacja, a także wydobywania wartości z informacji. Dla klientów — od największych światowych korporacji po agencje rządowe i małe przedsiębiorstwa — EMC jest idealnym partnerem, który może im pomóc w wykorzystaniu wartości ukrytych w cyfrowym wszechświecie w ich drodze do przetwarzania w chmurze” — powiedział Jeremy Burton, dyrektor ds. marketingu w firmie EMC Corporation.

Najważniejsze wnioski

• Nowe narzędzia do zbierania, wyszukiwania, odkrywania i analizy mogą ułatwić przedsiębiorstwom wgląd w ich dane nieusystematyzowane, które stanowią ponad 90% cyfrowego wszechświata. Narzędzia te mogą automatycznie tworzyć dane o danych, podobnie jak w procedurach rozpoznawania twarzy, które umożliwiają znacznikowanie zdjęć na Facebooku. Ilość danych o danych, czy też metadanych, rośnie dwukrotnie szybciej niż cały cyfrowy wszechświat.
• Narzędzia do analizy danych biznesowych w coraz większym stopniu mają do czynienia
  z danymi dostarczanymi w czasie rzeczywistym. Może to być na przykład udzielanie premii w ubezpieczeniach komunikacyjnych zależne od tego, gdzie kierowcy jeżdżą, kierowanie przesyłaniem energii przez inteligentną sieć lub szybka zmiana przesłania marketingowego
  w zależności od reakcji sieci społecznościowej.
• Dostępne są nowe narzędzia do zarządzania pamięcią masową zmniejszające koszty przechowywania danych w cyfrowym wszechświecie, takie jak deduplikacja, automatyczne zarządzanie warstwami i wirtualizacja, a także ułatwiające podejmowanie decyzji, co przechowywać — na przykład w rozwiązaniach do zarządzania treściami.

• Nowe procedury i narzędzia zabezpieczające mogą ułatwiać przedsiębiorstwom ustalanie, które informacje powinny być chronione i z jakim poziomem bezpieczeństwa, także
  z wykorzystaniem urządzeń i oprogramowania do ochrony przed specyficznymi zagrożeniami wchodzących w skład systemów zabezpieczających przed oszustwami i usług ochrony reputacji.
• Rozwiązania do przetwarzania w chmurze — publicznej i prywatnej lub hybrydowej (która jest połączeniem obydwu typów) — umożliwiają przedsiębiorstwom osiąganie efektu skali oraz zwiększenie szybkości reagowania i elastyczności w porównaniu z tradycyjnymi środowiskami informatycznymi. W dalszej perspektywie będzie to ważne narzędzie, które pozwoli radzić sobie ze złożonością cyfrowego wszechświata.

• Przetwarzanie w chmurze pozwala korzystać z rozwiązań typu IT-as-a-Service. W połączeniu ze zjawiskiem Big Data stwarza to dla przedsiębiorstw coraz silniejszą motywację do korzystania z zewnętrznych usług informatycznych zamiast inwestowania we własną infrastrukturę. 
• Powiększanie się cyfrowego wszechświata w dalszym ciągu wyprzedza wzrost pojemności pamięci masowej. Należy jednak pamiętać, że jeden gigabajt przechowywanych treści może generować petabajt lub więcej danych tymczasowych, które na ogół nie są przechowywane (np. sygnały telewizji cyfrowej wykorzystywane tylko w trakcie oglądania, lub głos, który jest przetwarzany na sygnał cyfrowy w sieci szkieletowej w czasie trwania połączenia).

•  Mniej niż jedna trzecia informacji w cyfrowym wszechświecie jest przynajmniejw minimalnym stopniu chroniona; tylko mniej więcej połowa informacji, które powinny być objęte ochroną, jest chroniona.

Digital Universe jest badaniem wykonywanym co roku, już od pięciu lat i obejmuje pomiary oraz prognozy ilości informacji cyfrowych tworzonych i kopiowanych w okresie rocznym oraz analizy skutków dla osób prywatnych, przedsiębiorstw i specjalistów w dziedzinie informatyki. Mają one istotne konsekwencje ekonomiczne, społeczne i technologiczne w dziedzinie przetwarzania wielkich zbiorów danych i w innych obszarach