Home Maszyneria Modelowanie twarzy 3D

Modelowanie twarzy 3D

0
0
105

Najtrudniejsza część animacji komputerowej – modelowanie twarzy, zyskała nowe narzędzie. Projekt powstał w Microsoft Research Asia i charakteryzuje się nowatorskim podejściem do problemu.

Jak twierdzi Xin Tong, animacja ludzkiej twarzy jest „świętym graalem grafiki komputerowej. Dziesiątki lat badań nad grafiką komputerową doprowadziły do powstania wielu technik rejestrujących trójwymiarowe, ruchome obrazy ludzkiej twarzy. Ale wszystkie one mają wady – nie wychwytują wystarczającej liczby szczegółów lub nie oddają precyzyjnie zmieniającej się mimiki.

Jak wykorzystać mimikę

""Technologia pozwala odwzorować nie tylko główne właściwości i mimikę, ale także subtelne zmarszczki i ruchy ludzkiej skóry.

Praca zespołu może przynieść wymierne skutki w takich dziedzinach jak skomputeryzowana kinematografia, a nawet tworzenie realistycznych awatarów użytkowników, do użytku w telekonferencjach i innych zastosowaniach. Istniejące metody rejestrowania twarzy i mimiki to między innymi technika motion capture wykorzystująca znaczniki, a także skanery o wysokiej rozdzielczości.

Technika ze znacznikami polega na umieszczeniu na twarzy małych, odblaskowych punktów. Zmiany ich pozycji względem siebie są rejestrowane w materiale wideo w miarę, jak postać zmienia wyraz twarzy. Ta metoda pozwala precyzyjnie wychwytywać zmiany ekspresji, ale z niską rozdzielczością.

  • Z drugiej strony, skanery o wysokiej rozdzielczości wychwytują wszystkie subtelności ludzkie twarzy, łącznie z niewielkimi zmarszczkami i porami w skórze, ale zwykle sprawdzają się tylko w statycznych ujęciach. Wyspecjalizowane konfiguracje sprzętowe zbudowane z użyciem szybkich kamer, także stosowane do rejestrowania twarzy, są drogie i rejestrują mniej szczegółów. Zespół postawił sobie za cel połączenie precyzji techniki motion capture wykorzystującej znaczniki ze skanerami o wysokiej rozdzielczości. Naukowcy chcieli także dokonać tego w jak najbardziej efektywny sposób z perspektywy obliczeń komputerowych, a to wymagało zastosowania najmniejszej ilości danych niezbędnej do precyzyjnej rekonstrukcji twarzy.
  • Naukowcy zaprosili do współpracy trzech aktorów o bardzo ruchliwych twarzach. Najpierw zastosowano system motion capture ze znacznikami – na twarzy każdego z aktorów umieszczono około 100 odblaskowych punktów. Podczas nagrywania wideo aktorzy przybierali szereg z góry określonych min, pozwalających na zgromadzenie zgrubnych danych mówiących o tym, jak zmieniają się twarze w zależności od ich wyrazu. Dane te będą wykorzystane do trójwymiarowych skanów. Ponadto, dzięki analizie znaczników zespół określił minimalną liczbę skanów wymaganych do precyzyjnego odwzorowania twarzy.
  • W kolejnym kroku zespół badawczy posłużył sie skanerem laserowym, aby wykonać skany twarzy o wysokiej rozdzielczości. Skany te zostały następnie dopasowane do odpowiednich ramek w danych twarzy uzyskanych ze znaczników. Z pomocą nowego algorytmu, skany twarzy zostały do siebie dopasowane.

""


Nie było to łatwe zadanie. Autorzy stwierdzają w opracowaniu, że szczegóły geometryczne, które pojawiały się w jednym skanie, mogły nie występować w innym. Ponadto, nawet małe niedopasowanie powierzchni o delikatnej strukturze, takiej jak zmarszczki czy pory, sprawia, że odtworzenie twarzy wydaje się nienaturalne.


Aby uniknąć tego problemu, zespół wykorzystał dwuetapowy algorytm dopasowywania. Najpierw algorytm dopasowuje główne elementy mimiki pomiędzy skanami twarzy o wysokiej rozdzielczości.



Następnie skany są doprecyzowywane. Odbywa się to poprzez ich podzielenie na dyskretne obszary i dopasowanie do tych samych obszarów w innych skanach, o wyglądzie podobnym do bieżącego skanu. Wykorzystuje się w tym celu technikę przepływu optycznego, która bierze pod uwagę względny ruch między kamerą a twarzą.


W kolejnym kroku zespół połączył informacje motion capture ze skanami twarzy, aby odtworzyć faktyczną mimikę. Uzyskany w ten sposób materiał uchwycił zarówno „duże” ruchy twarzy, jak i drobne szczegóły, np. teksturę i ruch skóry. Nowa technika skanowania może posłużyć do tworzenia komputerowych awatarów, będących realistyczną alternatywą dla fabrycznie zaprogramowanych awatarów, dostępnych w takich urządzeniach jak Xbox 360.




 

Dodaj komentarz

Przeczytaj również

Niezdrowe praktyki mobilnych aplikacji medycznych. Czy dbają o nasze dane?

Informacje o kolejnych wyciekach danych medycznych elektryzują opinię publiczną. Warto w t…