Algorytmy rekonstrukcji twarzy 3D

Question

Projekt: 3D rekonstrukcja twarzy

Wejście: 2D Wyjście czołowa zdjęcia: 3D Rekonstrukcja twarzy i symulacja wyrażenie Platforma: Matlab lub OpenCV CPP.

Dowiedziałem się po studiach, że algorytm 3D Morfable Models (3DMM) jest dobrym punktem wyjścia dla mojego projektu. Ale nie mam Bazylei Model twarzy (Baza danych twarzy 3D) do wdrożenia algorytmu. Jednak pobrałem GavabDB z http://gavab.escet.urjc.es/recursos_en.html. Czy mogę opracować 3DMM przy użyciu GavabDB do rekonstrukcji twarzy 3D z obrazu czołowego? Po przeczytaniu dokumentu z opisem zestawu danych zauważyłem, że Gavab nie dostarcza danych tekstury w skanach 3D; czy dane tekstur są obowiązkowe?

Czy jakość wydruku zależy od bazy danych 3D używanej do modelowania?

Answer 1

Model original morphable model, a także model twarzy Bazylei, który pochodzi od tego samego głównego badacza, zawierają zarówno teksturę, jak i geometrię.

Jest to całkowicie możliwe, aby obliczyć część geometryczną modelu Morphable z danych geometrii 3D bez tekstury. To daje model, który przechwytuje statystycznie najbardziej znaczące zmiany kształtu.

Jednak dopasowanie modelu czystej geometrii do obrazu 2D jest trudniejsze niż dopasowanie modelu do tekstury. Zasadniczo wymaga ...

1. zidentyfikować (lub adnotacji) rozmieszczenie niektórych momentach przełomowych w 2D twarz zdjęcie
2. Optymalizacja dla 3D pozy i parametry kształtu, które wprowadzają odpowiednie punkty orientacyjne w 3D Morphable model zbliżony do Twoich oznaczonych zabytków po projekcji przy użyciu nieznanej kamery.

To interesujący problem, ale nie banalny. W kroku 2 polecam zacząć od założenia rzutowania ortograficznego.

Jeśli chodzi o pytanie dotyczące jakości wyjściowej: jeśli w bazie danych znajduje się wystarczająco dużo modeli 3D, poszczególne skany nie muszą mieć szczególnie wysokiej jakości. Hałas nie pojawi się w głównych elementach modelu, który będzie faktycznie używany. Jednak dziury w skanach stanowią problem.

Wreszcie, pozwólcie, że zwrócę się bezwstydnie do paper, którą napisałem kilka lat temu. Nie rozwiązuje to Twojego problemu, ale zawiera sekcję o dopasowywaniu modelu 3D podlegającego przekształcaniu (tylko geometria) do sylwetki 2D wyodrębnionej ze zdjęcia.