Jak przenieść punkty twarzy w opencv/zniekształcenie twarzy

Question

Muszę zasymulować mimikę twarzy na obrazie twarzy (np. Otwarte usta). W tym celu najpierw wyodrębniłem punkty charakterystyczne twarzy i znalazłem kąciki warg. Teraz muszę zdeformować obraz, przesuwając punkty w dół.

W powyższym obrazu potrzebne do przemieszczania punktu (2) i (3) w pewnej odległości w lewo i prawo. I punkt (18) i (19) trochę słabo. Tak, że otrzymam ekspresję jak otwarte usta.

Moje pytania:

1) Czy to powyższy sposób prawo przystąpić do symulacji wyraz twarzy?

2) Jeśli to prawda, jak przenieść punkty i utworzyć nowy obraz w opencv?

Answer 1

tak, znowu to samo ..

Widziałem wiele osób korzystających delauny triangulacji z tych punktów, a następnie tekstury wypaczenia czy też zniekształceń w OpenGL lub nawet OpenCV.

https://github.com/MasteringOpenCV/code/tree/master/Chapter7_HeadPoseEstimation

wygląda całkiem powiązanymi, fragmenty książki „MasteringOpencv” są na google.books

Answer 2

Stosunkowo niedawne badanie i kurs technik ludzi wykorzystywanych w tym obszarze jest tutaj: http://old.siggraph.org/publications/2006cn/course30.pdf

TL: DR. Nie ma "właściwego" sposobu, aby to zrobić, w jakimkolwiek absolutnym sensie. Musisz zdefiniować swój cel w sposób obliczalny. Następnie sprawdź, jakie dodatkowe (wcześniejsze) informacje musisz uzyskać, oprócz samych danych obrazu. Błąkanie się z "wypaczeniem tekstur" lub innymi schematami interpolacji, zanim zdecydujesz, co musisz zrobić, to strata czasu.

Wspominasz "wyrażenie jak otwarte usta" i interpretuję to jako oznaczające, że chciałbyś stworzyć obraz podobny do tego, jak wyglądałaby prawdziwa twarz, gdyby fotografowana osoba była fotografowana z otwartymi ustami. Markery, które znaleźliście, oczywiście nie dają wystarczających informacji - w szczególności nie wyrażają one pojęcia "usta". W rzeczywistości tego pojęcia nigdzie nie ma na obrazie. Tak więc, ściśle mówiąc, twoje zadanie jest nierozwiązywalne, chyba że wrzucisz do niego więcej informacji.

Proponuję, abyś spojrzał na wskazany powyżej dokument i ponownie przemyślał swój problem.