DUNE: Distilling a Universal Encoder from Heterogeneous 2D and 3D Teachers

Created using ChatSlide

본 워크숍에서는 최신 기술을 활용한 DUNE 접근법을 소개합니다. 자가 지도 ViT 특성과 LoRA, 단안 기하학 선생 모델 등 주요 기술의 배경을 설명하며, 피드포워드 3D 모델의 한계와 이상적인 표현 인코더의 조건을 탐구합니다. 다중 교사 방식과 증류 손실을 활용한 DUNE 아키텍처를 심층적으로 다루며, 학습 데이터 구성과 주요 결과를 공유합니다. 마지막으로 이 접근법의 기여와 한계, 그리고 향후 개선 방향을 논의합니다.