[AI 서비스 리뷰] 이미지를 보여주면 소리를 예측해서 재생시켜주는 인공지능, Imaginary Soundscape

AI 서비스 리뷰 : AI 서비스 대신 체험해드립니다!
#4 이미지를 보여주면 소리를 예측해서 재생시켜주는 인공지능, Imaginary Soundscape 리뷰기

코로나19가 발병하기 전까지만 해도 해외 또는 국내로 여행을 가는 게 쉬웠지만, 이제는 해외로 쉽게 나가지 못하기 때문에 한 번쯤 과거에 여행 가서 찍었던 사진들을 보며 그때 기억을 되살리며 아쉬움을 달랜 경험이 있으실 거예요~

이번 AI 서비스 리뷰기에서는 이러한 아쉬움을 어느정도 달랠 수 있는 프로그램을 소개해드리고자 하는데요, 바로, 거리뷰나 이미지를 인공지능에게 보여주면, 인공지능이 그 이미지에 어울리는 소리(음경)를 틀어주는 프로그램입니다! 예를 들어, 도시 한복판 이미지를 보여주면 경적소리, 사람과 차 소리 등 도시에서 들을 수 있을법한 소리를 틀어준답니다!

그렇다면 바로 리뷰를 해보도록 하겠습니다!

# Imaginary Soundscape : 이미지를 오디오로!

 

Imaginary Soundscape 프로그램은 구글의 Google Experiments에서 오픈된 프로그램 중 하나인데요, 해당 사이트(http://www.imaginarysoundscape.net/)에 들어가면 위와 같은 화면이 뜹니다!

중간에 'Street View' 또는 'Upload Your Image' 글씨를 누르면 바로 시작이 되는데요, Street View는 지도상에서 위치를 찍어서 그 장소에 대한 오디오를 들려주는 것이고, Upload Your Image는 자신이 직접 업로드한 이미지에 대해 오디오를 들려주는 버튼입니다!

우선 Street View부터 리뷰해보도록 하겠습니다~

처음엔 랜덤으로 한 장소가 보여지는데요, Wall Street이라고 합니다! 이미지가 뜨고 나면 1~2초 후에 바로 소리가 자동으로 재생되는데요, Wall Street에서는 사람들이 복작복작 거리는 소리가 재생되네요!

화면 상단에는 몇 개의 장소 리스트가 있는데요, 각각 눌러보면 그 이미지에 대한 소리가 재생됩니다!
Miami Beach를 클릭했더니 해변 사진이 나오고, 파도 소리가 크게 나오네요!

 

하단에는 이렇게 지도를 직접 움직여서 위치를 지정할 수 있는데요, 아래처럼 사람 아이콘을 원하는 장소로 드래그하면 됩니다! 또는 오른쪽 상단에 주소를 입력하여 검색할 수 있습니다! 한국에 있는 위치일 경우 한국말로 검색해도 된답니다!

자, 그렇다면 코로나 때문에 못간 제주도로 가보겠습니다!

제주도 동쪽, 성산공원으로 와봤는데요, 산과 바다로 둘러싸인 곳으로 도착했네요!
오디오를 들어보면 강한 바람소리, 파도소리가 함께 들립니다.

 

한편, Street View 기능에는 화면을 드래그하여 360도를 다 볼 수 있답니다! 또한 길이 있는 곳이라면 이동하는 것도 가능하고요!

또 위치를 옮겨서 울릉도, 서울월드컵경기장으로도 가봤는데요, 울릉도에서는 파도소리와 바람소리, 그리고 자연이 느껴지는 소리(?)가 재생되었고, 경기장의 경우 군중들 소리가 강하게 재생되었답니다!

만약 해외로 위치를 지정하고 싶다면 동일한 방법으로 가고 싶은 해외 위치를 선택하면 되는데요, 그곳의 거리뷰와 소리를 같이 들으면 더 실감 나는 간접체험이 되지 않을까 싶습니다 :D



한편, Upload Your Image 기능은 자신의 이미지를 업로드하면 인공지능이 오디오를 재생시켜 주게 되는데요, 아래 페이지에서 Load file 버튼을 눌러 이미지를 업로드해줍니다!

 

이 바다는 거제도에서 찍은 바다 사진인데요, 이 이미지를 업로드하니 인공지능이 파도소리를 재생시켜 주었답니다!

꽃 사진에서는 약간의 새소리와 바람소리가 재생되었고,

밤에 찍은 한강 이미지는 물살이 세게 치는듯한 그런 소리가 재생되었답니다!


한편, Upload Your Image 기능을 통해 특별한 것도 해볼 수 있는데요, 바로 실사 이미지가 아닌 명화, 그림과 같은 이미지를 업로드하면 그 이미지에 어울리는 소리를 재생해줍니다! 다만 소리가 그렇게 드라마틱하게 재생되진 않는답니다.

먼저, 빈센트 반 고흐의 유명한 풍경화 그림을 업로드해보았는데요, 앞서 밤에 찍은 한강 사진처럼 물소리가 나는 그런 소리가 재생되었습니다! 근데 또 같은 물소리가 아닌 다른 물소리라 다르게 느껴지는 것 같아요 : )

또 이번에는 '민중을 이끄는 자유의 여신상' 명화를 업로드하니 사람들이 소리치고, 응원, 환호하는 등의 시끄러운 소리가 재생되었답니다! 이렇게 명화를 보여주면 어울리는 소리를 재생시켜주니 참 참신한 것 같습니다.

# 어떻게 소리가 재생되는 걸까?

이렇게 Imaginary Soundscape 프로그램을 통해 원하는 장소의 소리(음경)를 들어보고, 직접 이미지를 업로드하여 그에 맞는 소리가 재생되는 것을 해보았는데요, 그렇다면 어떠한 원리로 이미지에 알맞은 소리가 재생되는 걸까요?

약간의 해답을 Imaginary Soundscape 페이지(링크)에서 찾을 수 있었는데요, 설명에 따르면 Imaginary Soundscape는 사람의 무의식적인 행동에 초점을 맞추었다고 해요. 예를 들면, 해변 사진을 보고 바로 무의식적으로 파도 소리를 상상하는 것처럼 말입니다.

또한 이 기술은 딥러닝을 이용하여 이미지-오디오, 또는 텍스트-이미지와 같이 크로스 모달(cross-modal information retrieval technique) 기법을 이용하여 개발되었다고 합니다. 또한 이미지가 입력되면, 두 가지 모델로 훈련되도록 되어있다고 하는데요, 하나는 사전에 잘 훈련된 이미지 인식 모델이 이미지를 처리하도록 하고, CNN을 이용한 다른 모델은 오디오를 스펙트로그램 이미지(spectrogram image)로 읽도록 하여, 종합적으로 이들을 이용하여 이미지에 맞는 최적의 사운드를 내도록 한다고 합니다!

spectrogram image

하지만 아직 Imaginary Soundscape의 한계가 있다면, 바로 그 장소의 문화적 및 지리적 요소를 구분할 수 없다는 것입니다. 예를 들면, 그린란드의 빙하로 이루어진 곳을 보여주면 파도소리가 재생된다고 해요. 따라서 이 개발자들은 더욱더 소리에 대한 사람의 상상이 어떻게 생성되는지, 공감각적인 생각들이 어떻게 이끌어내지는지 많은 고민을 한다고 한답니다!



이렇게 이미지 또는 장소에 대한 소리(음경)를 인공지능이 예측해주는 프로그램인 Imaginary Soundscape를 리뷰해봤는데요, 곧 머지않아 소리가 담긴 사진이 상용화되지 않을까 싶네요! 리뷰기를 보신 여러분들도 한 번쯤 사이트에 들어가서 원하는 장소에 가서 소리를 들어보고, 명화와 같은 그림에서 어떠한 소리가 재생될지 궁금하신 분들도 한번쯤 이용해 보시기 바랍니다!