# Rekonstrukcja trójwymiarowego modelu obiektu w oparciu o sekwencję zdjęć.

### Realizacja tematu wymaga:
1. przeanalizowania dostępnej literatury i znalezienie niezbędnych metod, opracowanie
koncepcji rozwiązania
2. wyboru komponentów do wykorzystania, opracowanie architektury rozwiązania,
instalacja i wstępne zapoznanie z wybranymi komponentami
3. pozyskania danych do eksperymentowania, ich oceny pod kątem przydatności w
rozpatrywanym zagadnieniu zaimplementowania odpowiednich adapterów do ładowania
danych
4. implementacji przyjętej koncepcji rozwiązania,
5. przeprowadzenia badań i eksperymentów oraz analizy otrzymanych wyników,
6. doskonalenia metody,
7. przygotowania raportu i pakietu instalacyjnego oraz prezentacji końcowych wyników i
działania zrealizowanego prototypu.

# Notatki z zajęć

***21-01-2021**
### Modele v2
1. 3D-R2N2
2. Pix2Vox
3. Pix2Vox++

Korzystamy jedynie z modeli voxelowych, rezygnując z dodatkowych usprawnień. Bierzemy prostsze rozwiązanie i je ewaluujemy. Planem jest wytrenowanie na modelu na pozostałych kategoriach z ShapeNet, nie użytych wcześniej przy uczeniu i niedostępnych w zbiorze treningowym.
Dodatkową pracą będzie wygenerowanie zdjęc z dostępnych modeli z różnych ujęć.

**21-10-2020**
Pan Sas powiedział, że drukowanie 3d może już być zbyt skomplikowane jeśli chodzi o naszą pracę i najlepiej będzie po prostu przetestować gotowe metody. Można na początku zacząć od multi-view 3d object reconstruction i tam też powinno znaleźć się parę rzeczy, z którymi trzeba będzie się uporać nawet przy już gotowych implementacjach. Mamy do jeszcze przedyskutować na kolejnych zajęciach albo na jakichś konsultacjach.

**04-11-2020**
### Modele
1. BSP-Net
- dla SVR (Single-view reconstruction) wejściem do modelu jest single-view image ze zbioru danych ShapeNet, który następnie jest renderowany do postaci voxeli za pomocą 3D-R2N2
2. CVXNet
- wejściem do modelu może być obraz (2d), chumra punktów lub siatka wokseli
- We provide in input either (left) a collection of depth maps or (right) a single color image.

# Raport końcowy
## Zawartość raportu końcowego:
1. Opis problemu
2. Przyjęte założenia i ograniczenia
3. Założony zakres rozwiązania (czym się zajmujemy, co ignorujemy, jakie problemy zamierzamy rozwiązać)
4. Opis przyjętej metody
5. Wykorzystane komponenty obce i ich użyta funkcjonalność
6. Architektura zaimplementowanego programu
7. Opis "wkładu własnego" (co jest naszym zdaniem naszym oryginalnym wkładem intelektualnym)
8. Opis zgromadzonych danych z uzasadnieniem ich doboru (dostępność, specyfika, możliwość zbadania specyficznych przypadków) ze szczególnym uwzględnieniem danych pozyskanych własnoręcznie; szczególną uwagę zwrócić na dane generowane syntetycznie (jeśli były użyte)- przeanalizować możliwość wpływu sztuczności danych na wynik eksperymentu
9. Wynik eksperymentalne
a) jaki jest cel badań
b) jakie przypadki szczególne chcemy zbadać
c) jak zdefiniować miary poprawności tak aby były praktycznie użyteczne (tzn. odpowiadały w przybliżeniu sposobowi oceny użyteczność przez typowego użytkownika)
d) reprezentatywne wyniki liczbowe
10. Ocena końcowa:
a) dla danych jakiego typu uzyskano wyniki zadowalające
b) dla jakiego typu danych wynik nie są zadowalające
c) jaka jest prawdopodobna przyczyna zaobserwowanych problemów
d) jakie są pomysły na ich rozwiązanie
e) ocena konkurencyjności przyszłej implementacji komercyjnej na tle innych dostępnych produktów o podobnej funkcjonalności
## Artefakty:
1. raport w postaci papierowej
2. pakiet danych:
a) raport w postaci elektronicznej
b) kod źródłowy + kompletny projekt w używanym środowisku uruchomieniowym
c) kopia użytych komponentów zewnętrznych w wersjach kompatybilnych z projektem
d) dane testowe (własne), jeśli użyte obce zbiory danych zbyt duże - link do ich źródła + opis sposobu pobrania
e) skrypty pozwalające na wykonanie wszystkich eksperymentów opisanych w raporcie.

Raport w postaci elektronicznej i pakiet danych należy umieścić na ePortalu.

## References
1. CVXNet - https://cvxnet.github.io/
2. BSP-Net - https://bsp-net.github.io/
3. 3DR2N2 - https://cvgl.stanford.edu/3d-r2n2/
4. Dataset - https://www.shapenet.org/taxonomy-viewer
5. UCSG-NET - https://arxiv.org/pdf/2006.09102.pdf
6. https://paperswithcode.com/paper/soft-rasterizer-a-differentiable-renderer-for
7. https://paperswithcode.com/paper/learning-implicit-fields-for-generative-shape
8. https://paperswithcode.com/paper/disn-deep-implicit-surface-network-for-high
9. https://paperswithcode.com/paper/pifuhd-multi-level-pixel-aligned-implicit
10. https://paperswithcode.com/paper/from-image-collections-to-point-clouds-with
11. AtlasNet
- https://arxiv.org/abs/1802.05384
13. Occupancy Networks
- https://arxiv.org/abs/1812.03828
14. Learning Implicit Fields for Generative Shape Modeling
- https://arxiv.org/abs/1812.02822
- https://github.com/czq142857/IM-NET
15. Attention-based 3D Object Reconstruction from a Single Image
- https://arxiv.org/pdf/2008.04738.pdf
17. Mesh-RCNN
- https://gkioxari.github.io/meshrcnn/
19. Hierarchical Surface Prediction for 3D Object Reconstruction
- https://arxiv.org/abs/1704.00710