안녕하세요.
기본적으로 아이리스 AIRIS 랩은 영어로 운영되고 있어서 홈페이지 포스팅도 모두 영어로 하고 있습니다.
하지만 최근에 몇몇 분들에게서 연구 내용에 관한 정보가 한글로도 볼 수 있으면 좋겠다고 하시는 의견을 들어서 이번 포스팅은 한글로 작성하려고 합니다.
저는 아이리스 랩 캡틴 김성영입니다.
현재 저희 랩의 연구 주제는 다음과 같은 여섯 주제로 나누어집니다.
- 이머시브 음악 녹음 및 재생
- 공간음향을 활용하는 게임을 통한 디지털 청각 치료
- 공간음향과 AI
- 메타 객체 Meta Object의 음향 속성 구현
- 음향 유산
- 사회 문화적 배경이 청각에 미치는 영향
각 부분에 대해서 2024년에 헤롤드경제에 기고한 신문에 조금씩 내용을 녹아내려고 하였습니다만, 신문 기고는 쉽지 않은 도전이었고, 대중을 상대로 간략하게 소개를 하다보니 담고 싶은 내용을 다 담지는 못했습니다. 앞으로 이 공간 혹은 다양한 매체를 통해서 조금 더 자세히 알려드리도록 노력하겠습니다.
1. 이머시브 음악 녹음 및 재생
이 부분은 아마도 제가 아이리스 랩의 캡틴으로 있는 한, 끝가지 가지고 갈 주제가 아닌가 싶습니다.
원래 저의 개인적인 연구 및 관심은 클래식 녹음에 있어서 사람들에게 보다 몰입감을 주는 녹음 기법 개발인데요, 이 주제는 아쉽게도… (sigh…) 연구비를 대어주는 곳이 그렇게 많지 않아서 그간 연구를 소홀이 해왔네요. 야마하에 가면서 부터 아마 이 연구의 속도가 무척 느려진 것 같습니다. 오히려 야마하 AFC시스템을 활용한 공연과 가변 잔향 시스템이 주는 청감에 관한 연구가 더 많았던 것 같습니다.
그래서 항상 꿈을 꾸고 있는 녹음 기법에 대한 연구를 하기 위해서 부가적으로 이머시브 경험과 그에 따르는 생리 신호 분석을 연구하고 있는데요.
현재는 한국연구재단의 기초연구실 사업과 현대자동차 산업체 과제를 통해서 관련 연구를 조금씩 해나가고 있습니다. (하지만 아직도 녹음 기법에 관한 연구는 아니구요. 몰입감과 미디어 감상에 관한 연구 입니다.)
Rai Sato, 김성준, 박이든 학생이 중심으로 이러한 연구들을 진행하고 있으니 구체적인 부분들은 이 학생들에게 여쭤보시면 많은 정보를 얻으실 수 있을 것 같습니다.
2. 공간음향을 활용하는 게임을 통한 디지털 청각 치료
이 연구는 제가 오랫동안 해 온 오디오 청각 훈련 혹은 Technical Ear Training의 연장선으로 진행하는 연구 입니다. 저는 원래 오디오 엔지니어가 훈련을 통해 더 나은 듣기 능력을 가지는 Computerized Self Training에 관심이 많았고 연구를 진행해왔었는데요 (아래의 두 논문 참고).
최근에는 이 연구를 난청 치료 등으로 확장하고 있습니다.
위의 오디오 훈련 프로그램들을 통해서 훈련을 했더니, 음성 인식도도 함께 좋아진 점을 우연하게(?) 발견하게 되었구요. 그 이후로 난청 혹은 음성 인식도가 좋지 않은 분들을 대상으로 연구 범위를 확장하고 있습니다.
즉, 훈련을 통해 귀가 보통인 사람들을 좋게하는 연구를 했었는데 반대로, 귀가 안 좋은 분들이 보통이 되는 정도 혹은 조금 나아지는 정도로 사용하는 연구를 하고 있습니다.
이 연구는 고부승 학생과 정다운 박사님 (박사후 연구원)을 중심으로 진행되고 있고, 한국연구재단의 우수신진연구 사업을 통해 하고 있습니다.
3. 공간음향과 AI
공간음향과 AI는 어떻게 연관이 되어있을까요? 사실 AI가 활용되지 않는 영역이 없기에 굳이 일부러 연관성을 생각한다는 것 자체가 구시대적 발상인것 같기도 합니다. 저희는 다음의 세가지 분야에서 공간음향과 AI를 연결해서 활용하고자 하고 있습니다.
1) 자동패닝
오디오에서 패닝은 가장 오래된 신호처리중 하나인데요, 여러 오브젝트들이 있을 때 정면 카메라에 잡힌 시각 정보의 움직임을 자동으로 따라가게 해주는 기술을 연구하고 있습니다. 즉, AI가 화면의 오브젝트를 인식하고 움직임을 따라가면서 그 움직임 정보를 3차원 패닝 정보로 변경하는 연구입니다.
이강은 학생의 연구주제이고 작년에 한국음향학회에 논문이 실렸고, 최근에 Siggraph에서 최근 업데이트를 발표할 예정입니다.
JAKO202432043357665.pdf
2) 리버브 생성
리버브 생성은 사진이나 그림등에서 공간 정보를 유추하고 그에 따라 소위 룸 임펄스 응답 (Room Impulse Response, RIR)을 만들어내는 AI를 연구하는 주제입니다.
김민재 임주은 학생의 연구주제이고 김민재학생이 작년 한국음향학회 학술대회에서 우수 발표상을 받은 내용입니다.
임주은 학생의 연구는 조금 결이 다르지만 공간음향 생성이라는 점에서 동일한 범주라서 함께 소개했습니다. (주은 학생의 연구는 아직 비밀(?)이라 여기에 소개를 할 수가 없네요. 다음 음향학회 혹은 관련 학회를 기대해주세요)
4. 메타 객체 Meta Object의 음향 속성 구현
이 연구 주제는 메타버스 대학원 KAIST GSMV 이 주축이 되어서 진행중인 IITP (정보통신기획평가원) 과제에 부속된 것으로, 일반적인 가상 혹은 증강 현실의 asset이 가지는 속성을 넘어서, 사용자와 인터렉션하고 그에 따라 유기적으로 속성이 실시간으로 변화하는 메타 객체를 구현하는 연구입니다. 예를 들어 ‘음료 캔’이라는 객체가 있을 때 사람이 손에 힘을 주어 쥘 때 그 객체는 주어지는 악력에 따라서 형태가 변하고 동시에 사용자에게 주어지는 청각, 촉각의 반응도 달라질 겁니다. 이렇게 사용자의 반응에 따라 변화하는 마치 살아있는 객체와 같은 속성을 부여하는 연구에 저희 랩은 오디오 속성이 공간과 어떻게 반응하여서 변화하는가를 연구주제로 삼고 연구하고 있습니다.
이종호 학생이 주로 연구를 하고 있으며, 특히 이 연구는 NYU와의 공동 연구에도 연계되어 있어서 향후 더 큰 연구 주제로 발전해가지 않을까 기대하고 있습니다.
5. 음향 유산
이 연구는 제가 지난 5-6년간 가장 공을 많이 들여서 해오고 있는 연구입니다.