⛳

a9.3_5. [entry] title: NeRF 기반 모델의 한계와 이를 극복하려는 시도들

생성

🚀 prev note

♻️ prev note

🚀 next note

♻️ next note

a9.3_5.3. title: NeRFmm 은 카메라 내부 파라미터(‣)와 카메라 외부 파라미터(‣)를 이미지 집합으로부터 학습한다.

14 more properties

•

NeRF

◦

a9.3_1. [entry] title: NeRF

•

NeRF 는 '피사체가 정지해 있어야 한다' 는 전제가 깔려 있다(참고2,3,8). 정지되어 있는 피사체라는 점, 가려지는 피사체를 구분해내고 극복하기 위한 연구가 있다. 

◦

D-NeRF 가 제안되었다(참고3).

◦

심지어 NeRF in the wild 라는 연구에서 구글 연구진은 한술 더 떠서 구글 유저들의 랜드마크 촬영 영상 집합만으로 3d 복원을 성공시키고, 정지한 대상과 정지해있지 않은 대상을 구분해내기까지 한다.

◦

Single session driving can only observe a limited zone and occlusion issue is inevitable. … On the contrary, with multisession SLAM we can prevent this kind of occlusions by perceiving more information from multiple views.

◦

동적 물체와 정적 물체를 처리하지 못한다는 문제, 여러개의 매핑을 하나로 합치기 어렵다는 문제가 있었다. 이들 문제를 해결하는 연구 갈래 중 하나로,  multi session SLAM 이 있다. Multi session NeRF 는 불가능한걸까? 혹시 Block NerRF 나 NeRF In the wild 같은 연구들과 결을 같이하지는 않을까?

•

NeRF 는 또한 어떠한 피사체를 정말 다양한 각도에서 촬영한 뒤 모아주어야 동작한다는 문제도 가지고 있다. 필요한 영상의 양을 줄이겠다는 취지로 DietNeRF 가 제안되었다(참고4).

◦

DietNeRF: Putting NeRF on a Diet

•

NeRF 의 I/O 를 보면(from1) 영상들뿐 아니라 물리공간상의 영상 수집점간 관계도 요구된다. 수집점 간 관계 없이 영상만으로 3D 복원을 수행할 수 있도록 만들기 위해 NeRF-- 가 제안되었다(참고6).

◦

a9.3_5.3. title:
NeRFmm 은 카메라 내부 파라미터(‣)와 카메라 외부 파라미터(‣)를 이미지 집합으로부터 학습한다.

•

또한 NeRF 기반 연구들이 작은 공간에서 정합을 수행할 수밖에 없었다는 점과 real world 적용사례가 적었다는 점도 단점으로 볼 수 있다.

◦

•

NeRF 기반 연구들은 카메라 extrinsic 은 물론 intrinsic 과 카메라 왜곡모델에도 매우 민감하다(참고10). 이런 문제들을 해결하고자 수동 캘리브레이션에서 벗어나 스스로 더욱 정확한 캘리브레이션을 향해 움직이는 Self-calibration NeRF(참고9) 같은 방법들이 등장하게 되었다.

•

NeRF 에서는 왜 광각 카메라나 초광각 카메라를 사용하지 않는걸까? 어떤 것이 두려운걸까? “NeRF 같은 방법에서는 왜 어안렌즈나 광각렌즈를 잘 안쓸까요? 작은 모델링오차에도 민감하기 때문에 많이 난이도가 높아지는 탓일까요? 이미 Visual SLAM 에는 어안렌즈까지도 많이 사용되고 있어서, NeRF 같은 모델에 쓰는게 불가능하지 않을듯 싶은데 관련연구를 찾을 수 없었습니다.”

from

a9.3_3. title: NeRF는 3D 오브젝트를 만들어 내는 것이 아니라, 뷰를 입력으로 넣었을 때, feed-forward 결과 노블 뷰를 보여 주는 네트워크다. 하지만 학습 과정에서 광학적 개념을 이용했기 때문에 3D 공간에 대한 정보를 뉴럴 네트워크가 분명히 가지고 있다고도 바라볼 수 있는데, 그래서 explicit representation 이 아닌 implicit representation 이라고 부른다.

참고

1. static scene 2. forward-facing view 3. with small view-port changes. Smaller viewport change / forward facing views, No moving / deforming objects. (e.g. a car driving across the street, a bird flying across the sky, people waving hands), No significant illumination/exposure changes. (e.g. camera moving from pointing towards the sun to back to the sun), No focal length changes. Currently assume all input share the same camera intrinsics. 

NeRF 방식의 문제점은 촬영 중 피사체가 완전히 정지할 필요가 있다는 것이다. 피사체가 움직이지 않는 것이면 문제가 없지만 항상 움직이는 피사체라면 카메라 여러 대를 나린히 여러 각도에서 동시에 인물 사진을 촬영한다. 이 과제를 해결하기 위해 연구팀은 D-NeRF(Deformable Neural Radiance Fields)라는 새로운 방식을 연구 개발했다. 이 방식은 프레임을 비교하고 피사체가 얼마나 이동했는지 판단해 변형을 자동으로 계산 추출한 불완전한 2D 이미지 데이터를 조정해 정확하고 인터랙티브한 3D 모델을 만들 수 있다. 

However, despite achieving an unprecedented level of photorealism on the generated images, NeRF is only applicable to static scenes, where the same spatial location can be queried from different images. In this paper we introduce D-NeRF, a method that extends neural radiance fields to a dynamic domain, allowing to reconstruct and render novel images of objects under rigid and non-rigid motions from a single  camera moving around the scene. For this purpose we consider time as an additional input to the system 

While NeRF has an impressive ability to reconstruct geometry and fine details given many images, up to 100 for challenging 360° scenes, it often finds a degenerate solution to its image reconstruction objective when only a few input views are available. To improve few-shot quality, we propose DietNeRF.

None

We propose NeRF−−, a NeRF-based framework for novel view synthesis without pose supervision. Specifically, given only a sparse set of uncalibrated images of a scene as input, with unknown camera parameters, our pipeline estimates the camera extrinsics and intrinsics of the input images, and simultaneously trains a Neural Radiance Field (NeRF) via joint optimisation.

None

1p, introduction, The central limitation of NeRF that we address here is its assumption that the world is geometrically, materially, and photometrically static — that the density and radiance of the world is constant. 

아까 세미나에서 나왔던 내용과 비슷한거 같은데 Self calibration Nerf 확인해보시는걸 추천합니다. -Gyudori

10.

‘작은 모델링오차에도 민감하기 때문에 많이 난이도가 높아지는 탓’ 딱 짚어주셨다고 생각합니다. -장형기 

11.

대상 객체와 전경이 움직임이 없는 정적인 물체에 제한된다는 점입니다. 만약 NeRF로 3D 에셋화 하려는 물체가 촬영 중에 지속적인 움직임을 보인다면, 이는 곧 흐릿한 노이즈 형태로 3D 공간에 나타나게 됩니다. 이러한 한계점은 NeRF의 촬영 대상에 큰 제한으로 지속적인 움직임을 보이는 동물이나 물체, 실시간으로 바뀌는 음영이 포함된 광경 등을 NeRF로 만들 수 없는 단점으로 작용합니다

최근 각광받고 있는 NeRF의 한계와 발전 방향 그리고 기대감 [2/2] – 테스트웍스

12.

NeRF의 결과물인 Mesh나 Point Cloud 데이터에 대해 적절한 후처리가 필요하다는 점입니다. … 예를 들어, 촬영된 공간에서 어떠한 물체를 따로 잘라내어 객체화 할 것인지 명시하거나, 추출된 데이터를 Blender 같은 외부 3D 그래픽 툴을 사용하여 정제해야 합니다.

최근 각광받고 있는 NeRF의 한계와 발전 방향 그리고 기대감 [2/2] – 테스트웍스

13.

후속 논문 중에서 소개해드릴 것은 NeRFPlayer라는 논문입니다. NeRFPlayer는 기존 논문들과 비교하여 무엇보다 가시적인 성과를 내놓아 주목을 받았습니다. 시공간을 정적인 부분 (Static), 새롭게 나타나거나 생성되는 부분 (New), 그리고 변형되는 부분 (Deforming)으로 각각 나누어 독립된 신경망에 학습시키는 방법을 채용한

최근 각광받고 있는 NeRF의 한계와 발전 방향 그리고 기대감 [2/2] – 테스트웍스

14.

NeRF 모델로 구현한 3D 객체/전경이 Unreal Engine이나 Blender 같은 3D 가공 툴에서 바로 후처리가 가능하도록 툴의 추가 기능으로 확장시키는 방식이 현재 도입되고 있으며, 좀 더 근본적으로 NeRF 모델을 활용해 만들어내는 3D 객체를 시각적으로 표현하는 Mesh의 퀄리티를 더욱 끌어올리려는 연구 또한 지속적으로 추진되고 있습니다.

최근 각광받고 있는 NeRF의 한계와 발전 방향 그리고 기대감 [2/2] – 테스트웍스

15.

DietNeRF는 사물의 prior knowledge를 사용하여 소량의 데이터로도 3차원 scene representation 학습이 가능하도록 NeRF를 발전시켰습니다. CLIP은 수많은 2D 이미지를 통해 학습된 multi-modal encoder로, 사물에 대한 prior knowledge를 갖고 있습니다. 따라서 DietNeRF는 CLIP을 사용한 semantic consistency loss를 사용해 prior knowledge를 학습합니다.

[논문 리뷰] Putting NeRF on a Diet (DietNeRF)

•