증강현실(AR), 혼합현실(MR), 디지털 트윈 등 현실과 가상을 잇는 기술의 발전은 결국 ‘공간을 얼마나 정확히 이해하느냐’에 달려 있다. 최근 울산과학기술원(UNIST) 연구진이 내놓은 인공지능(AI) 모델 ‘HUSH(Holistic Panoramic 3D Scene Understanding using Spherical Harmonics)’는 이 분야의 패러다임을 바꿔놓을 혁신으로 평가받는다.
HUSH의 가장 큰 특징은 단 하나의 360도 파노라마 이미지로 실내 공간의 구조와 내부 사물의 3차원 정보를 동시에 뽑아낼 수 있다는 점이다. 기존에는 공간의 3D 정보를 얻기 위해 여러 각도에서 촬영한 사진이나 고가의 깊이 센서가 필요했다. 하지만 HUSH는 스마트폰이나 저가 장비로 촬영한 파노라마 한 장만으로도 공간 복원이 가능하다.
이 기술은 공간 구조뿐만 아니라 가구, 집기 등 물체의 형태와 위치까지 정밀하게 파악해, AR/MR 콘텐츠 개발, 실내 내비게이션, 스마트 홈, 로봇 자율주행, 디지털 트윈 구축 등 다양한 분야에 즉시 적용할 수 있다.
HUSH의 핵심은 ‘구면 조화함수(Spherical Harmonics, SH)’라는 수학적 기법이다. SH는 구면 데이터를 주파수 성분으로 분해해 넓고 평탄한 영역은 저주파, 복잡한 윤곽은 고주파로 표현한다.
이종성 UNIST 연구원은 “SH는 기존에 색상 표현에 주로 쓰였으나, 이를 파노라마 기반 공간 이해에 적용한 것은 이번이 처음”이라며 “구면 이미지의 특성을 효과적으로 반영해 정보 손실 없이 정밀한 분석이 가능하다”고 밝혔다.
덕분에 HUSH는 왜곡이 심한 파노라마 이미지에서도 공간의 구조와 사물의 형태를 정확하게 복원한다. 실제로 기존 3D 장면 복원 AI보다 깊이 예측 정확도가 높았고, 이미지 한 장으로 여러 공간 정보를 동시에 예측할 수 있어 계산 효율성도 뛰어나다.
이미지: 단일 파노라마 이미지에서 깊이, 법선 등 공간 정보를 추론할 수 있는 인공지능 모델을 나타낸 모식도, 울산과학기술원(UNIST) 제공
이 연구는 지난 6월 미국 내슈빌에서 열린 세계적 컴퓨터비전 학회 CVPR2025에서 공개돼, 최신 AI 3D 장면 복원 기술의 대표 사례로 주목받았다.
국내외에서는 360도 파노라마 이미지 기반 3D 재구성, 딥러닝을 활용한 공간 인식, SH 기법을 적용한 신호 처리 등 다양한 연구가 이뤄지고 있다. 하지만 대부분은 다각도 이미지나 깊이 센서 등 복잡한 입력이 필요했다. HUSH는 단일 파노라마 이미지만으로 공간과 사물 정보를 동시에 추출해, 비용과 접근성에서 혁신적 진전을 이뤘다는 평가다.
주경돈 UNIST 교수는 “이번 기술은 실내 공간 정보를 정밀하게 이해해야 하는 AR, MR 응용뿐 아니라, 이미지 한 장만으로 유저와 상호작용이 가능한 실감형 콘텐츠 생성 등 다양한 분야로 확장 가능하다”고 강조했다.
향후 HUSH는 AR/MR 기기, 스마트 홈, 로봇 내비게이션, 디지털 트윈 구축 등 실생활 곳곳에서 공간 인식의 정확성과 효율성을 획기적으로 높일 것으로 기대된다.
AI가 한 장의 파노라마로 3D 세상을 읽어내는 시대, HUSH가 만들어갈 공간 인식 혁신의 미래가 주목된다.
|
증강현실(AR), 혼합현실(MR), 디지털 트윈 등 현실과 가상을 잇는 기술의 발전은 결국 ‘공간을 얼마나 정확히 이해하느냐’에 달려 있다. 최근 울산과학기술원(UNIST) 연구진이 내놓은 인공지능(AI) 모델 ‘HUSH(Holistic Panoramic 3D Scene Understanding using Spherical Harmonics)’는 이 분야의 패러다임을 바꿔놓을 혁신으로 평가받는다.
HUSH의 가장 큰 특징은 단 하나의 360도 파노라마 이미지로 실내 공간의 구조와 내부 사물의 3차원 정보를 동시에 뽑아낼 수 있다는 점이다. 기존에는 공간의 3D 정보를 얻기 위해 여러 각도에서 촬영한 사진이나 고가의 깊이 센서가 필요했다. 하지만 HUSH는 스마트폰이나 저가 장비로 촬영한 파노라마 한 장만으로도 공간 복원이 가능하다.
이 기술은 공간 구조뿐만 아니라 가구, 집기 등 물체의 형태와 위치까지 정밀하게 파악해, AR/MR 콘텐츠 개발, 실내 내비게이션, 스마트 홈, 로봇 자율주행, 디지털 트윈 구축 등 다양한 분야에 즉시 적용할 수 있다.
HUSH의 핵심은 ‘구면 조화함수(Spherical Harmonics, SH)’라는 수학적 기법이다. SH는 구면 데이터를 주파수 성분으로 분해해 넓고 평탄한 영역은 저주파, 복잡한 윤곽은 고주파로 표현한다.
이종성 UNIST 연구원은 “SH는 기존에 색상 표현에 주로 쓰였으나, 이를 파노라마 기반 공간 이해에 적용한 것은 이번이 처음”이라며 “구면 이미지의 특성을 효과적으로 반영해 정보 손실 없이 정밀한 분석이 가능하다”고 밝혔다.
덕분에 HUSH는 왜곡이 심한 파노라마 이미지에서도 공간의 구조와 사물의 형태를 정확하게 복원한다. 실제로 기존 3D 장면 복원 AI보다 깊이 예측 정확도가 높았고, 이미지 한 장으로 여러 공간 정보를 동시에 예측할 수 있어 계산 효율성도 뛰어나다.
이미지: 단일 파노라마 이미지에서 깊이, 법선 등 공간 정보를 추론할 수 있는 인공지능 모델을 나타낸 모식도, 울산과학기술원(UNIST) 제공
이 연구는 지난 6월 미국 내슈빌에서 열린 세계적 컴퓨터비전 학회 CVPR2025에서 공개돼, 최신 AI 3D 장면 복원 기술의 대표 사례로 주목받았다.
국내외에서는 360도 파노라마 이미지 기반 3D 재구성, 딥러닝을 활용한 공간 인식, SH 기법을 적용한 신호 처리 등 다양한 연구가 이뤄지고 있다. 하지만 대부분은 다각도 이미지나 깊이 센서 등 복잡한 입력이 필요했다. HUSH는 단일 파노라마 이미지만으로 공간과 사물 정보를 동시에 추출해, 비용과 접근성에서 혁신적 진전을 이뤘다는 평가다.
주경돈 UNIST 교수는 “이번 기술은 실내 공간 정보를 정밀하게 이해해야 하는 AR, MR 응용뿐 아니라, 이미지 한 장만으로 유저와 상호작용이 가능한 실감형 콘텐츠 생성 등 다양한 분야로 확장 가능하다”고 강조했다.
향후 HUSH는 AR/MR 기기, 스마트 홈, 로봇 내비게이션, 디지털 트윈 구축 등 실생활 곳곳에서 공간 인식의 정확성과 효율성을 획기적으로 높일 것으로 기대된다.
AI가 한 장의 파노라마로 3D 세상을 읽어내는 시대, HUSH가 만들어갈 공간 인식 혁신의 미래가 주목된다.