인물 사진한장을 3D 이미지로 쉽게 변환하는 방법 : 클리앙

영국의 연구원이 한 장의 2D이미지를 꽤 괜찮은 3D 이미지로 아주 쉽게 변환하는 방법을 개발했습니다. 영국의 Nottingham 대학의 연구 프로젝트로써 한 장의 2D이미지에서 3D이미지로 얼굴을 만드는 것입니다.

사람이나 사물을 3D이미지로 만드는데는 2가지 방법이 있죠.

하나는 3D스캐너로 스캔을 해서 3D 이미지 데이터를 만들어서, 모델링 소프트웨어로 보정을 하는 거죠. 3D스캐너 가격이 만만치 않고, 스캐닝하는 것도 좀 배워야 합니다.

두번째는 여러장의 사진을 이미지 처리를 거쳐서 3D 이미지를 만드는 거죠.

일반적으로 다른 위치에서 찍은 40장 이상의 사진을 이용하거나, 360도 전체에서 찍은 사진들을 이용합니다. 이러한 이미지들을 관련 소프트웨어를 사용해서 3D이미지로 변환을 하는 거죠.

사진을 찍을때 조명과 사진 배경도 신경을 써야 잘됩니다.

이러한 방법은 일반적인 사람들이 쉽게 접근하기 어렵습니다.

하지만, 영국 연구원이 개발한 이 방법은 아주 간단합니다.

1. 사용자는 명함 사진같은 형태의 모습으로 된 인물 사진(jpg와 같은 이미지 파일)을 웹사이트에 업로드합니다. (아래 사진의 "파일선택" 을 클릭하고, 업로드할 사진 선택 후 "Upload Image" 버튼 클릭)

2. 이미지는 네트워크를 통해서 서버 컴퓨터로 전달이 되고, 관련 소프트웨어는 때때로 AI(인공지능)과 machine learning(기계학습) 을 이용하여 3D 이미지를 만듭니다.

3. 사용자는 3D로 만들어진 이미지를 확인하고, obj 파일 형태로 다운로드 받을 수 있습니다.

컬러에 대한 정보도 포함됩니다.

예를 들어 오바마 대통령을 업로드해 보면, 아래와 같이 결과 페이지로 넘어갑니다

위 사진을 여러 각도로 돌려보면 아래와 같이 다양한 각도에서 볼 수 있습니다.
이마 부분까지만 데이터를 만드는 것 같네요.

Z Translate 이라는 것을 움직이면 2D사진에서 3D이미지를 간격을 띄워서 볼 수 도 있습니다.

"Download Wavefrond OBJ File" 버튼을 눌러서 3D이미지를 OBJ 파일 포맷으로 다운받을 수 있습니다.
다운로드 받은 오바마 전대통령의 3D 이미지 데이터를 3D 소프트웨어로 열어보니, 아래와 같이 보이네요. 그런대로 잘 나왔죠?

사람이 아닌 동물 사진도 변환을 해봤습니다.
아래 왼쪽 사진이 업로드한 사진이고, 오른쪽 사진이 3D이미지로 변환된 사진입니다.
얼굴부분만 인식해서 3D데이터로 변환하네요.

자동차 이미지를 업로드해봤습니다.

3D이미지로 변환하지 않고, 아래의 메세지가 나오네요.
The face detector (dlib) failed to find your face. (얼굴 탐지기가 얼굴을 못찾았습니다.)
얼굴이 없는 이미지는 변환을 안하네요^^

이것을 이용해서 우리가 만나보지 못한 옛날 분들의 이미지를 업로드하면 3D로 볼 수도 있겠다는 생각이 들었습니다. 그래서 역사속의 몇몇 유명한 분들 사진을 시도해봤습니다.
돌아가신 조상들중에, 예를들면 할아버지 사진이 있으면 3D이미지로 변환해서 칼라 3D프린터로 출력해도 의미가 있을 것 같습니다.

조선의 마지막 왕인 순종의 사진을 업로드해봤습니다.
얼마나 정확하게 3D로 변환되었는지는 모르겠지만, 흥미롭네요.

내친김에 세종대왕 그림을 업로드해봤습니다. 오래된 그림이라 그런지, 얼굴아랫부분이 잘 변환이 안된 것 같네요. 그래도 역사속의 위인의 얼굴을 3D로 만나니까 감회가 새롭네요^^

미국의 링컨 대통령입니다.

영화배우 톰크루즈 입니다. 좋아하는 연예인 사진도 가능하겠네요^^

경찰이 현상수배할 때 2D사진을 3D이미지로 변환해서 현상수배 전단에 붙여도 좋겠다는 생각도 들고,
이 연구가 객관적으로 기술력을 인정받으면, 여러가지로 쓸모가 있을 것 같네요^^

칼라 3D프린터가 있으면 칼라로 출력을 해보면 더 잘 알 수 있을 것 같은데, 없는 관계로 일반 데스크탑 3D프린터 중에 하나인 Zortrax M200 3D프린터로 출력을 해봤습니다. 아쉽네요...
칼라 3D프린터 있는 분들은 해보셔도 재밌을 것 같네요.
오바마 대통령 3D이미지를 다운받아서 출력해봤습니다.
컬러 3D프린터로 출력을 했어야 하는데....아쉽네요.

아래의 사이트에서 직접 해보실 수 있습니다.
업로드한 사진과 3D로 변환된 이미지는 20분 내에 삭제한다고 하니, 개인정보 보호도 신경을 썼네요.
http://www.cs.nott.ac.uk/~psxasj/3dme/index.php

GitHub에 소스 코드도 공개를 했네요. 소스코드에 관심있는 분들은 보시길...
https://github.com/AaronJackson/vrn

연구 논문도 PDF 파일로 공개를 했습니다.
http://aaronsplace.co.uk/papers/jackson2017recon/jackson2017recon.pdf

-3DGURU-