Lip sync – Teoria

Co mamy pod maską

Pan Animator napisał 6 lipca 2017 | AnimacjaPodstawy Animacji 3DTeoriaZaczynamy animować

Lip sync, lip synch, dialog czy po prostu kłapy. Czas najwyższy zająć się animacją ust! Lip sync to niby prosta rzecz, ale jednak trzeba poświęcić jej bardzo dużo czasu przy nauce. Sam bardzo dużo czasu „straciłem” na źle zrobione kłapy. Teraz wręcz z obsesją wykonuję wszelkie możliwe akrobacje lipsyncowe i wszędzie zwracam na to uwagę. Czas więc na uporządkowanie tej wiedzy!
 

Co mamy pod maską

Zanim zaczniemy animację musimy wiedzieć co tak naprawdę steruje ustami. Za chwilę sami się przekonacie, że ta wiedza jednak jest niezbędna przy tworzeniu wiarygodnego lip sync.
Przed startem jednak chwyć za swoje lusterko (które na pewno stoi na Twoim biurku, ANIMATORZE!).
Zrób kształt ust mówiący: Aa, Uu, Ee, Oo, Mm. No zrób no! Nikt nie patrzy.
Widzisz jakie zakresy pokonują kąciki ust? Albo jak wargi się wyginają? No i jak niewiele w tym sam ruch szczęki pomaga?

mięśnie ust

Siedem mięśni jest odpowiedzialnych za te ruchy. Przy każdym z nich przyłóż palec i zobacz jak on działa:

  • Jarzmowy większy
    Mięsień uśmiechu!
  • Dźwigacz wargi górnej (na obrazku pod okiem – pomiędzy jarzmowym większym i nosowym)
    Unosi górną wargę
  • Obniżacz kąta ust i bródkowy (na brodzie, duuh!)
    Wyginają dolne wargi
  • Policzkowy
    Wydłuża/rozciąga usta
  • Obniżacz wargi dolnej
    Pociąga w dół dolną wargę
  • Okrężny ust
    Otwiera/zamyka/ściska usta

Ale po co ja to mówię? Zwróćcie uwagę na wielkość/grubość niektórych mięśni. Tam ruch będzie najbardziej widoczny. Na przykład mięsień  jarzmowy większy. Długi! Zaczyna się nad kością policzkową. Więc logicznie można założyć, że przy uśmiechu poruszymy całym polikiem! A do tego są jeszcze obszary, które są tylko zwykłym tłuszczykiem i reagują na to co się dzieje wokół nich. Pisałem o tym ostatnio w tym miejscu. I taką wiedzę przekuwamy na animację.
 

Phonemes / fonemy

Teraz przejdźmy do jeszcze bardziej praktycznych rzeczy. Fonemy to najprościej mówiąc pozy ust, których użyjemy do animacji lip sync. A podstawowe fonemy wyglądają tak:

fonemy animacja lip sync

To są przykładowe rysunki, ale chodzi o osiągnięcie podobnego kształtu. Teraz przyda się także wiedza o mięśniach potrzebnych do ułożenia ust. To tworzy mniejsze, ale dalej ważne rzeczy takie jak zawijanie ust, opuszczanie języka, ruch polików czy trzymanie zlepionych warg w kącikach. Niuanse dające wiarygodność i mięsistość ruchu ust. Na przykładzie:
M – usta i szczęka działają razem, zawijamy wargi, powietrze ucieka przez nos
B – ciśnienie naciska na wargi, szybko ucieka. Przy otwieraniu (kończeniu P) najpierw idzie szczęka, dopiero później wargi (kleją się do siebie)
P – ciśnienie bije w wargi, pompujemy i długo trzymamy
F, V – samo wywalenie zębów to mało! Warto dodać podniesienie polików
U – Wywinięcie warg do zewnątrz, ściśnięcie polików do środka jamy ustnej

Rozumiecie o co chodzi! Same fonemy tworzą animację, ale to detale tworzą dobry lip sync.
Warto także zwrócić uwagę, że fonemy to tylko wyznacznik. ABSOLUTNIE NIE UŻYWAJMY TEGO W ANIMACJI 3D JAKO KOPIA 1:1
 

Zasady, porady i wskazówki dobrego lip syncu

Daleki byłbym od ustalania zasad których stricte trzeba się trzymać. Traktujmy usta tak jak każdą inną cześć ciała. Animujemy tak, żeby wyglądało dobrze i co najważniejsze wiarygodnie. Jednak na podstawie wielu zrobionych animacji twarzy jestem w stanie stworzyć krótką listę przydatnych rzeczy przy lip sync:

DOBRZE przesłuchaj audio

Zanim wskoczysz w wir animacyjny zapętl audio i wsłuchaj się w szczegóły. Tak jak przy animacji ciała – najpierw planujemy, potem robimy!
Zwróć uwagę na akcentowane wyrazy, sylaby czy pauzy. Najczęściej są to rzeczy, które słychać po pierwszym przesłuchaniu i już zapadają w pamięć.
Dodatkowo pomyśl o emocjach postaci. To ma niesamowite znaczenie przy prędkości przejścia z fonemu na fonem czy w samych pozach.

Nie animuj każdej litery wyrazu – dźwięki, nie litery!

Najgorsze co możesz zrobić to przejścia z klatki na klatkę bardzo różniących się fonemów. Dodatkowo zmiana fonemów co klatkę jest totalnie nierealistyczna. Zamiast skupiania się nad iście komputerową precyzją wypowiadania słowa zwróćmy uwagę na odbiór. Wystarczy, że uwierzymy, że postać wypowiada te słowa – nie musi się faktycznie tak dziać. Liczą się tylko najbardziej wyraziste dźwięki. Znowu oszukujemy oko widza!

Łącz fonemy

Każdy nowy fonem zawiera duże wpływy z poprzedzającego fonemu. To znaczy – przykładowo tworząc fonem M zaraz po fonemie A zostawmy naleciałości takie jak lekko uniesione kąciki czy ich podobna pozycja. Z przejścia U na O wystarczy rozszerzyć lekko kąciki i opuścić szczękę. Przejście zawsze musi być płynne, a fonemy wynikać jeden z drugiego.

Przytrzymaj spółgłoski

Przy zamkniętych lub prawie zamkniętych ustach (M, B, P lub F, V) przytrzymaj pozę na minimum 2 klatki. To są właśnie bardzo wyraziste dźwięki! Dodatkowo wszystkie sąsiednie fonemy muszą wynikać/dążyć do zamkniętych ust.

Asymetria!

Twinning nie tyczy się tylko animacji ciała. Twórzmy „krzywe” fonemy. Unikajmy symetrii! Najczęściej fonem E, EEH zawsze robię tylko jednym kącikiem. Podbijam efekt przez lekką rotację szczęki. Taki mały zabieg, a wprowadza bardzo dużo życia w lip sync!

Lusterko i/lub macanie twarzy

Jakkolwiek śmiesznie to zabrzmi to bardzo często przy animacji lip sync przytrzymuję palec na kąciku ust wymawiając wyrazy z audio. Patrzenie w lusterko dodatkowo obrazuje lip sync. To samo robię ze szczęką. Dzięki takim „badaniom” widzę na ile powinienem poruszyć kontrolkami.
mięśnie twarzy lip sync

Uspokój szczękę

Wychodząc z poprzedniego punktu – połóż palec pod brodą i powiedz „DZIĘKUJĘ PANIE ANIMATORZE!”. No.. POWIEDZ! Nie sylabuj, dukaj czy zwalniaj. Po prostu normalnym tempem. Widzisz jak szczęka mało się porusza? Człowiek to nie Muppet. Pomiędzy ruchami szczęki zazwyczaj zostawiam 3-4 klatki. Najwięcej roboty odwalają wspomniane wcześniej mięśnie twarzy.

Offsetuj ruch szczęki i ust

By stworzyć bardziej naturalną animację lip sync unikajmy ruchu ust i szczęki w tym samym czasie. Najlepszym przykładem jest wyraz „mama”. Na „ma” najpierw szczęka pójdzie w dół, dopiero po chwili usta się rozkleją (od środka oczywiście!) i kąciki pójdą w górę. Na kolejne „M” szczęka pójdzie do góry, po chwili usta się zalepią, a na samym końcu szczęka skończy swój ruch. Dalej znowu „ma”. Oczywiście pamiętamy o łączeniu sąsiednich fonemów ze sobą.

12 zasad animacji tyczy także ust

Pamiętamy o łukach i dobrym spacingu! Szczególnie obserwujemy przy otwieraniu ust i ruchu kącików.

Najpierw obraz potem dźwięk

Jeżeli robisz fonem w miejscu w którym go słychać to już wiesz, że spartoliłeś robotę. Ustaw maksymalną pozycję fonemu na 3/4 (czy też nawet 1/2) czasu dźwięku w którym on pada. Przejście z fonemu na fonem też się liczy dla oka!

Offsetuj całą animację lip sync!

Dokładnie! Po skończonej animacji (nawet jak już jesteś pewien, że jest super!) zaznacz całą swoją animację ust (+ szczęka) i przesuń o 2-3 klatki wcześniej. Brzmi jak szaleństwo? Może trochę, ale spróbuj. Zrób podgląd i zobacz czy przypadkiem (a w 90%…) nie jest lepiej. Mimo mojego pozowania fonemów wcześniej i tak przesuwam całość. Nie pamiętam kiedy ostatnio ta wskazówka mi się NIE przydała.

Nie połykaj języka

Nie zapominaj o tym, że język cały czas jest w ustach i rusza się z każdym fonemem! Używamy go nie tylko na L, ale także na T, S, C, N. Przy dużych zbliżeniach zawsze klatkę po otwarciu ust poświęcam na „kłapnięcie” języka. Dodaje trochę życia w jamie ustnej.

Lip sync to nie tylko usta

I na koniec jedna z najważniejszych rzeczy – pamiętajmy o tym, że pod skórą są mięśnie. Do osiągnięcia fonemu potrzebnych jest kilka mięśni, a te ciągną się pod sporą częścią twarzy. Używajmy więc kontrolek od nosa, polików czy okolic oczu. Wzmocnimy wiarygodność i przekaz wypowiadanych słów.

 

Podsumowując…

Powiem szczerze – bardzo dużo w animacji lip sync pomogła mi świadomość, że to mięśnie sterują ustami, a nie kursor. Same fonemy to nie wszystko. Tu potrzebna jest logika idąca za decyzjami jakie podejmujemy w animacji.
Dodatkowo unikam kopiowania fonemów lub używania skryptów typu pose manager (raz stworzona biblioteka póz używana we wszystkich animacjach). Nigdy nie mówimy w sposób identyczny. Tym bardziej różnych wyrazów. Pamiętajmy o wpływie innych fonemów na obecną pozę ust. A na to wszystko jeszcze narzućmy emocje postaci. Kluczem jest przekonanie widza, że postać mówi, a nie jest komputerowym odtworzeniem każdej sylaby.
Jak zawsze – oszukujemy oko!
Powodzenia!