서론: 2D 비디오에서 지능형 3D 자산으로의 도약을 향한 사고 실험
컴퓨터 비전 분야는 개별적인 태스크(Task)를 해결하는 특화 모델의 시대를 지나, 방대한 데이터로 사전 학습된 거대 파운데이션 모델(Foundation Model)이 다중 모달리티(Multi-modality)를 아우르는 시대로 진입했습니다. 이러한 패러다임의 변화는 기존에 분리되어 있던 기술 스택을 유기적으로 융합하여, 과거에는 막대한 수작업을 요구했던 복잡한 과업을 자동화할 새로운 가능성을 열고 있습니다. 본 글은 이러한 기술적 흐름에서 영감을 얻은 하나의 ‘사고 실험’입니다. 스마트폰 등으로 촬영된 일반 동영상 파일이 단순히 3차원 형태로 복원되는 것을 넘어, 의미론적으로 분할되고(Semantically Segmented), 명확한 라벨이 부여되며(Labeled), 실제 세계의 스케일(Real-world Scale)이 적용된 ‘지능형 3D 모델’로 자동 변환되는 미래지향적 파이프라인을 구체적으로 제안하고 그 실현 가능성을 탐구합니다.
핵심 아이디어는 전통적인 컴퓨터 비전 기법인 SfM(Structure from Motion)을 골격으로 삼아, Meta AI의 SAM(Segment Anything Model), OpenAI의 CLIP(Contrastive Language-Image Pre-training), 그리고 Meta AI의 DINOv2와 같이 각기 다른 강점을 지닌 파운데이션 모델들을 체계적으로 융합하는 것입니다. 이 글의 목표는 이 가상 파이프라인을 구체화하고, 각 기술 요소의 기대 역할과 상호작용을 예측하며, 나아가 그 기술적 의의와 잠재적 한계까지 조망하는 데 있습니다.
1. 기하학적 골격 형성: Structure from Motion(SfM)을 통한 초기 점군 생성
모든 3D 재구성의 출발점은 2D 이미지 시퀀스로부터 3차원 공간의 기하학적 구조를 추론하는 것입니다. 여기서 전통적이지만 여전히 핵심적인 역할을 수행하는 것이 바로 SfM(Structure from Motion) 기법입니다. 오픈소스 구현체인 COLMAP 등에서 널리 사용되는 이 알고리즘은 비디오의 여러 프레임에 걸쳐 특징점(Feature Point)을 매칭하고, 이를 통해 각 프레임의 카메라 자세(Pose)와 3D 공간상의 점군(Point Cloud)을 동시에 추정합니다.
이 단계의 결과물은 순수한 기하학적 정보의 집합체입니다. 즉, 생성된 점군은 객체나 배경의 구분 없이 뒤섞여 있으며, 의미론적 정보가 부재하고, 그 크기 또한 실제 세계의 단위(미터, 센티미터 등)와는 무관한 임의의 스케일을 가집니다. 이는 파운데이션 모델이 활약할 무대를 마련하는 필수적인 전처리 과정이며, 그 자체로는 ‘지능형’ 모델이라 부를 수 없는 원시 데이터(Raw Data)에 해당합니다.
2. 객체 단위 분할: SAM을 활용한 제로샷 3D 세분화(Zero-shot 3D Segmentation)의 가능성
원시 점군에 ‘지능’을 부여하는 첫 단계는 개별 객체를 식별하고 경계를 정의하는 것입니다. Meta AI가 발표한 SAM(Segment Anything Model)은 이 과정에 혁신적인 영감을 줍니다(출처: Kirillov, A. et al. (2023), “Segment Anything”, arXiv:2304.02643). SAM은 특정 객체 클래스에 대한 사전 학습 없이도 이미지 내의 모든 객체에 대해 매우 정교한 분할 마스크(Segmentation Mask)를 생성하는 제로샷(Zero-shot) 능력을 보유합니다.
제안하는 파이프라인에서는 SAM을 원본 비디오의 2D 프레임 각각에 적용하는 그림을 그려볼 수 있습니다. 이렇게 생성된 2D 마스크 정보와 SfM 단계에서 얻은 카메라 자세 정보를 결합하면, 각 픽셀이 3D 점군의 어느 지점에 해당하는지를 역투영(Back-project)할 수 있습니다. 결과적으로, 2D 이미지 평면에서의 분할을 3D 공간상의 점군 클러스터링으로 확장하여, 복잡하게 얽힌 점군을 의미 있는 객체 단위로 효과적으로 분리하는 시나리오가 가능해집니다. 이는 3D 공간에서 직접 밀도 기반 클러스터링(예: DBSCAN)을 적용하는 것보다 훨씬 강건하고 정교한 결과를 도출할 것으로 기대됩니다.
3. 의미론적 정보 주입: CLIP을 통한 자동 3D 라벨링 구상
객체 단위로 분할된 점군 클러스터는 아직 ‘무엇’인지 알 수 없는 상태입니다. 여기에 의미론적 명찰을 붙이는 역할은 OpenAI의 CLIP(Contrastive Language-Image Pre-training) 모델에게 맡길 수 있습니다(출처: Radford, A. et al. (2021), “Learning Transferable Visual Models From Natural Language Supervision”, arXiv:2103.00020). CLIP은 이미지와 텍스트를 동일한 임베딩 공간에 매핑하여, 이미지의 시각적 콘텐츠와 자연어 설명 간의 유사도를 측정하는 능력을 갖추고 있습니다.
이러한 능력을 활용하여, SAM에 의해 분할된 각 3D 객체(점군 클러스터)에 해당하는 원본 비디오의 2D 이미지 패치(Patch)들을 추출하는 단계를 상상할 수 있습니다. 이 이미지 패치들을 CLIP 모델에 입력하고, 사전에 정의된 텍스트 프롬프트 리스트(예: [“의자”, “테이블”, “바닥”, “벽”])와의 유사도를 계산합니다. 이어서 가장 높은 유사도 점수를 기록한 텍스트 프롬프트가 해당 3D 객체의 라벨로 할당되는 자동화된 라벨링 방식을 구상할 수 있습니다. 이 가상적인 과정을 통해 전체 3D 씬(Scene)은 ‘의자’, ‘테이블’ 등 인간이 이해할 수 있는 명칭이 부여된 객체들의 집합으로 재탄생할 잠재력을 가집니다.
4. 실세계 스케일 추정: DINOv2 특징을 활용한 깊이 예측의 역할
마지막 퍼즐 조각은 SfM 결과물의 임의적인 스케일을 실제 세계의 물리적 단위로 보정하는 것입니다. 이는 3D 모델의 실용성을 결정하는 매우 중요한 단계로, 본 파이프라인의 완성도를 높이기 위한 핵심 가설 중 하나입니다. 이 문제를 해결하기 위한 유망한 접근법으로 단안 깊이 추정(Monocular Depth Estimation) 모델을 활용하는 것을 고려할 수 있으며, 특히 Meta AI의 DINOv2와 같이 자기지도학습(Self-supervised Learning)으로 추출된 강력한 시각 특징(Visual Feature)이 이 분야에서 높은 성능을 보이고 있습니다(출처: Oquab, M. et al. (2023), “DINOv2: Learning Robust Visual Features without Supervision”, arXiv:2304.07193).
DINOv2 특징으로 학습된 깊이 추정 모델을 비디오의 특정 프레임에 적용하면, 각 픽셀에 대한 절대 깊이(Absolute Depth, 단위: 미터)를 예측할 수 있습니다. 이 예측된 깊이 값과 SfM으로 계산된 상대적인 깊이 값을 비교하여, 전체 3D 점군에 적용할 단일 스케일 팩터(Scale Factor)를 유도하는 핵심 단서로 활용될 수 있습니다. 이로써 3D 모델은 디지털 트윈이나 로보틱스 시뮬레이션 등에 직접 활용될 수 있는, 현실과 정합된 스케일을 갖출 수 있게 될 것입니다. 대안적으로, CLIP을 사용하여 ‘A4 용지’나 ‘음료수 캔’처럼 표준 규격이 알려진 객체를 식별하고, 이를 기준으로 스케일을 역산하는 방식 또한 이론적으로 가능하지만, 이는 해당 객체의 존재 여부에 의존하는 한계를 가집니다.
가상 파이프라인의 과제와 검증 필요성
- 스케일 추정의 불확실성: DINOv2 기반 깊이 추정이나 CLIP 기반 객체 참조를 통한 스케일 보정은 본 파이프라인에서 가장 도전적인 가설 중 하나입니다. 예측된 스케일은 실제 값과 상당한 오차를 포함할 수 있으며, 이는 조명, 카메라 종류, 모델 견고성에 크게 의존하는 현재진행형 연구 주제입니다. 제안된 방법의 정량적 오차 범위는 당연히 검증되지 않았습니다.
- 세분화 오류의 전파 가능성: SAM은 뛰어난 성능을 보이지만 완벽하지 않습니다. 특히 객체가 심하게 가려지거나(Occlusion), 투명하거나, 반사되는 재질일 경우 분할 오류가 발생할 수 있습니다. 이러한 초기 단계의 오류는 후속 단계로 그대로 전파되어 최종 결과물의 품질을 저하시킬 수 있다는 점을 반드시 고려해야 합니다.
- 높은 예상 계산 비용: 본 파이프라인은 다수의 거대 파운데이션 모델을 순차적으로 실행하는 것을 전제로 하므로, 상당한 컴퓨팅 자원을 요구할 것이 자명합니다. 비디오 길이, 해상도, 사용 하드웨어에 따라 처리 시간이 크게 달라질 것이며, 실시간 처리는 현재 기술 수준에서 매우 어려운 목표입니다.
- 개념적 청사진으로서의 본질: 본고에서 제안된 파이프라인은 개별 기술의 성능 보고서에 영감을 받아 구성한 하나의 ‘개념적 청사진(Conceptual Blueprint)’입니다. 이는 실제로 검증된 워크플로우에 대한 보고가 아니라, ‘만약 이러한 기술들을 이렇게 조합한다면 어떤 결과가 나올까?’라는 질문에서 출발한 사고 실험(Thought Experiment)에 가깝습니다. 각 모델을 유기적으로 결합했을 때 발생할 수 있는 예기치 못한 문제나, 특정 조건(예: 카메라 움직임이 매우 빠르거나, 조도가 매우 낮거나, 비강체(Non-rigid) 객체가 포함된 경우)에서 성능이 저하될 가능성에 대한 체계적인 검증은 미래의 흥미로운 연구 과제로 남아있습니다.