안녕하세요.
기본적으로 아이리스 AIRIS 랩은 영어로 운영되고 있어서 홈페이지 포스팅도 모두 영어로 하고 있습니다.
하지만 최근에 몇몇 분들에게서 연구 내용에 관한 정보가 한글로도 볼 수 있으면 좋겠다고 하시는 의견을 들어서 이번 포스팅은 한글로 작성하려고 합니다.
저는 아이리스 랩 캡틴 김성영입니다.
현재 저희 랩의 연구 주제는 다음과 같은 여섯 주제로 나누어집니다.
- 이머시브 음악 녹음 및 재생
- 공간음향을 활용하는 게임을 통한 디지털 청각 치료
- 공간음향과 AI
- 메타 객체 Meta Object의 음향 속성 구현
- 음향 유산
- 사회 문화적 배경이 청각에 미치는 영향
각 부분에 대해서 2024년에 헤롤드경제에 기고한 신문에 조금씩 내용을 녹아내려고 하였습니다만, 신문 기고는 쉽지 않은 도전이었고, 대중을 상대로 간략하게 소개를 하다보니 담고 싶은 내용을 다 담지는 못했습니다. 앞으로 이 공간 혹은 다양한 매체를 통해서 조금 더 자세히 알려드리도록 노력하겠습니다.
1. 이머시브 음악 녹음 및 재생
이 부분은 아마도 제가 아이리스 랩의 캡틴으로 있는 한, 끝가지 가지고 갈 주제가 아닌가 싶습니다.
원래 저의 개인적인 연구 및 관심은 클래식 녹음에 있어서 사람들에게 보다 몰입감을 주는 녹음 기법 개발인데요, 이 주제는 아쉽게도… (sigh…) 연구비를 주는 곳이 그렇게 많지 않아서 그간 연구를 소흘이 해왔네요. 야마하에 가면서 부터 아마 이 연구의 속도가 무척 느려진 것 같습니다. 오히려 야마하 AFC시스템을 활용한 공연과 가변 잔향 시스템이 주는 청감에 관한 연구가 더 많았던 것 같습니다.
그래서 항상 꿈을 꾸고 있는 녹음 기법에 대한 연구를 하기 위해서 부가적으로 이머시브 경험과 그에 따르는 생리 신호 분석을 연구하고 있는데요.
현재는 한국연구재단의 기초연구실 사업과 현대자동차 산업체 과제를 통해서 관련 연구를 조금씩 해나가고 있습니다. (하지만 아직도 녹음 기법에 관한 연구는 아니고, 몰입감과 미디어 재생에 관한 연구 입니다.)
Rai Sato, 김성준, 박이든 학생이 중심으로 이러한 연구들을 진행하고 있으니 구체적인 부분들은 이 학생들에게 여쭤보시면 많은 정보를 얻으실 수 있을 것 같습니다.
특히 바이노럴 재생의 경우에 있어서 Binauralizer의 특성에 관한 연구가 최근 IEEE I3DA학회에 소개될 예정이구요.
동시에 2021년 제가 JAES에 썼던 공간의 특성과 청취자의 배경에 관한 연구도 조금씩 계속 진행중입니다.
녹음에만 집중해서 연구하고 관련 과제도 함께 발굴하고 싶은 학생들의 지원을 기대하고 있습니다.
2. 공간음향을 활용하는 게임을 통한 디지털 청각 치료
이 연구는 제가 오랫동안 해 온 오디오 청각 훈련 혹은 Technical Ear Training의 연장선으로 진행하는 연구 입니다. 저는 원래 오디오 엔지니어가 훈련을 통해 더 나은 듣기 능력을 가지는 Computerized Self Training에 관심이 많았고 연구를 진행해왔었는데요 (아래의 두 논문 참고).
최근에는 이 연구를 난청 치료 등으로 확장하고 있습니다.
위의 오디오 훈련 프로그램들을 통해서 훈련을 했더니, 음성 인식도도 함께 좋아진 점을 우연하게(?) 발견하게 되었구요. 그 이후로 난청 혹은 음성 인식도가 좋지 않은 분들을 대상으로 연구 범위를 확장하고 있습니다.
즉, 훈련을 통해 귀가 보통인 사람들을 좋게하는 연구를 했었는데 반대로, 귀가 안 좋은 분들이 보통이 되는 정도 혹은 조금 나아지는 정도로 사용하는 연구를 하고 있습니다.
이 연구는 고부승 학생과 정다운 박사님 (박사후 연구원)을 중심으로 진행되고 있고, 한국연구재단의 우수신진연구 사업을 통해 해나가고 있습니다.
3. 공간음향과 AI
공간음향과 AI는 어떻게 연관이 되어있을까요? 사실 AI가 활용되지 않는 영역이 없기에 굳이 일부러 연관성을 생각한다는 것 자체가 구시대적 발상인것 같기도 합니다. 저희는 다음의 세가지 분야에서 공간음향과 AI를 연결해서 활용하고자 하고 있습니다.
1) 자동패닝
오디오에서 패닝은 가장 오래된 신호처리중 하나인데요, 여러 오브젝트들이 있을 때 정면 카메라에 잡힌 시각 정보의 움직임을 자동으로 따라가게 해주는 기술을 연구하고 있습니다. 즉, AI가 화면의 오브젝트를 인식하고 움직임을 따라가면서 그 움직임 정보를 3차원 패닝 정보로 변경하는 연구입니다.
이강은 학생의 연구주제이고 작년에 한국음향학회에 논문이 실렸고, 최근에 Siggraph에서 최근 업데이트를 발표할 예정입니다.
JAKO202432043357665.pdf
2) 리버브 생성
리버브 생성은 사진이나 그림등에서 공간 정보를 유추하고 그에 따라 소위 룸 임펄스 응답 (Room Impulse Response, RIR)을 만들어내는 AI를 연구하는 주제입니다.
김민재 임주은 학생의 연구주제이고 김민재학생이 작년 한국음향학회 학술대회에서 우수 발표상을 받은 내용입니다.
임주은 학생의 연구는 조금 결이 다르지만 공간음향 생성이라는 점에서 동일한 범주라서 함께 소개했습니다. (주은 학생의 연구는 아직 비밀(?)이라 여기에 소개를 할 수가 없네요. 다음 음향학회 혹은 관련 학회를 기대해주세요)
4. 메타 객체 Meta Object의 음향 속성 구현
이 연구 주제는 메타버스 대학원 KAIST GSMV 이 주축이 되어서 진행중인 IITP (정보통신기획평가원) 과제에 부속된 것으로, 일반적인 가상 혹은 증강 현실의 asset이 가지는 속성을 넘어서, 사용자와 인터렉션하고 그에 따라 유기적으로 속성이 실시간으로 변화하는 메타 객체를 구현하는 연구입니다. 예를 들어 ‘음료 캔’이라는 객체가 있을 때 사람이 손에 힘을 주어 쥘 때 그 객체는 주어지는 악력에 따라서 형태가 변하고 동시에 사용자에게 주어지는 청각, 촉각의 반응도 달라질 겁니다. 이렇게 사용자의 반응에 따라 변화하는 마치 살아있는 객체와 같은 속성을 부여하는 연구에 저희 랩은 오디오 속성이 공간과 어떻게 반응하여서 변화하는가를 연구주제로 삼고 연구하고 있습니다.
이종호 학생이 주로 연구를 하고 있으며, 특히 이 연구는 NYU와의 공동 연구에도 연계되어 있어서 향후 더 큰 연구 주제로 발전해가지 않을까 기대하고 있습니다. (최근 저의 미국 출장 포스트를 참고하시면 도움이 될 듯 합니다)
5. 음향 유산
이 연구는 제가 지난 5-6년간 가장 공을 많이 들여서 해오고 있는 연구입니다. 그동안 해왔던 연구와 앞으로의 연구는 이 사이트에 잘 정리가 되어있으니 참고하시면 좋을 듯 합니다.
하지만 혹시나 하는 마음에 (위의 사이트를 안 가보실 분도 있을 것 같기도 하고 ^^) 간략하게 정리하자면, ‘음향’이 가지는 역사적 문화재적 가치를 보존하고 다음 세대가 향유할 수 있도록 디지털화 하겠다는 프로젝트 입니다. McGill대학에서 Virtual Haydn프로젝트를 하는 것을 보면서 영감을 얻었고, 마침 그 즈음에 저도 야마하에서 일본대학 소속이었던 동경의 카잘스 홀이 없어지기 전에 음향 측정을 통해서 그 홀을 디지털화하는 프로젝트를 하고 있어서, 그 이후로 문화 유산으로서 음향에 대한 관심이 커지고, 동시에 IR측정 및 보존을 통한 digital preservation of endangered buildings이라는 주제로 연구를 해왔습니다. 다행이도 (!) 2019년에 NEH (National Endowment of Humanities)에서 저희 연구 팀에게 연구 지원을 해 주었고, 그 이후로 본격적인 연구 여정이 시작되었습니다. 아쉽게도 한국에서 연구재단은 지금껏 저희가 세 번 문을 두드렸습니다만 문을 열어주지 않았네요 ㅠㅠ.
현재는 여러 한국 문화재 관련 연구팀과 함께 마곡사를 포함하는 한국의 UNESCO세계유산인 산사 음향을 보존하는 프로젝트를 수행하고 있습니다. 이 연구는 사실 연구주제1, 3, 4를 다 포함하는 광범위 연구 주제라서 현재 여러 학생들이 매달려서 진행하고 있습니다.
특히 오경택 학생을 중심으로 하는 이 연구에 참여하고자 하는 분들의 많은 참여를 기대합니다.
참고로 아래는 위 사이트에도 나온 영상이지만, 제 현재 겸직으로 있는 미국 RIT에서 NEH프로젝트를 진행할 때 제작해준 영상입니다.
Aural Heritage관련 영상
6. 사회 문화적 배경이 청각에 미치는 영향
이 연구는 2015년 제가 Virtual Reality Journal에 냈던 논문으로 부터 시작된다고 할 수 있습니다. 엄밀이 말하면 그 전 부터 관심은 있었지만 (특히 야마하에서 일할때 …) 이 논문을 계기로 본격적으로 더 하려고 했죠. 그런데, 역시 이 연구 주제에 대해서 NSF등이 연구자금을 안 줘서 그렇게 힘차게 박차를 가할 수가 없었습니다. (어떻게 쓰다 보니 계속 돈 얘기가… 그래도 연구에는 항상 자금이 들어서 연결을 안 지을 수가 없네요).
그런데 마침 야마하에서 Individualized Presentation of Immersive Experience라는 조금 넓은 범위의 연구주제를 지원해 주어서, 거기에 살짝 숟가락을 하나 얹고 연구를 재개했습니다. RIT 박사과정으로 있는 Akira Takeuchi가 열심히 일을 해주어서 현재 좋은 연구 결과를 확보한 상태이고, Akira의 졸업을 위해 필요한 랭크에 있는 저널에 제출하기 위해서 작업을 하고 있는 중입니다. 한국에서 이 주제에 관해서 관심이 있으시면 연락주세요. 같이 연구해봐요.
간단하게 요약하자면 사람은 다양한 인지 패턴을 가지는데 그 중하나가 자신을 주변에 대해서 어떻게 인식하는 가 하는 self-construal입니다. 이 self-construal에 따라서 인지 패턴이 바뀌는 것은 이전에 심리학 분야에서 다양하게 연구되어 왔는데요, 특히 북미와 동아시아권 사람들의 self-construal과 공간 이해 등은 많이 연구되어 왔습니다.
저는 self-construal이 visual cognition of a space에 영향을 미친다고 한다면 auditory space에 대해서도 마찬가지 일 것이다라고 가정하고 이에 대한 연구를 몇가지 Akira군과 함께 진행했습니다. 그중에 최근 연구만 간략하게 말씀드리면 self-construal로 분류된 두 그룹에게 음성을 노이즈와 같이 들려주는 실험을 진행했고, 노이즈가 음성의 방향과 분린된 경우 (spatially segregated) 두 그룹간의 뇌파가 다르게 반응하는 것을 실험으로 측정했습니다. 2025년 9월 부터 Akira군이 KAIST로 파견와서 저희 랩에서 연구할 계획이라, 이 부분의 연구가 더 진전되고 좋은 해피엔딩이 되기를 기원해봅니다.
이 정도로 간략하지 않은 간략한 연구실 소개를 마칠까 합니다. 2025년 7월 기준이라서 내용은 계속 바뀔 수 있겠지만, 기본 테마들은 이대로 유지하면서 저의 원래 본류인 ‘녹음’ 관련 연구에 더 박차를 가할까 하고 있습니다. 그런데 음대가 아니라 공연장이 없네요…. ㅠㅠ 음대 교수님들과의 긴밀한 협업을 더 기대해보겠습니다. ^^