모든 의사소통 행위는 다면적이다. 발화가 의사소통의 핵심적인 역할을 수행할지라도 이에 수반되는 몸짓, 표정, 운율 등에도 화자의 메시지는 깃들어 있다. 전통적으로 언어학 연구는 단일한 경로, 즉 발화를 대상으로 이루어져 왔다. 발화만을 연구 대상으로 삼았을 뿐만 아니라 그것을 세분화한, 음성, 음운, 통사, 의미, 화용 등의 층위로 상정하여 연구하는 것을 당연하게 여겨왔다. 그러나 우리는 화자의 의도를 파악하기 위해 종종 발화 내용보다 상대의 표정이나 몸짓에 주목하거나 목소리 톤에 신경을 쓴다. 심지어 이러한 소위 비언어적 요소들이 발화 내용보다 진실에 가까울 경우도 부지기수이다. 의사소통의 과정에서 비언어적 요소가 차지하는 비중이 상당하지만 이것을 연구대상으로 삼기는 쉽지가 않다. 그 일차적인 원인은 비언어적 요소를 기록하고 분석할 수 있는 도구와 방법론이 확립되지 않았기 때문이다. 이와 같은 현실을 극복하기 위한 노력의 결과가 이번에 출간하는 ‘다면자료와 비언어적 소통’ 안에 담겨 있다. 연세대학교 언어정보연구원은 2009년부터 소위 4세대 말뭉치라고 일컬어지는 다면자료(multimodal corpus)를 구축하기 위해 노력을 기울여 왔다. 다면자료는 음성언어를 비롯하여 시선, 손동작, 표정, 자세 등 인간의 다양한 의사소통 행위를 녹화하여 디지털 방식으로 전사하고 저장한 자료이다. 다면자료를 바탕으로 한 연구는 인간의 의사소통 행위를 온전히 연구 대상으로 삼을 수 있다는 측면에서 언어학이 질적으로 한 단계 도약할 수 있는 계기가 될 뿐 아니라 다면자료 분석을 통하여 철학, 정치학, 사회학, 의학 등 다양한 분야와 연구대상과 주제를 공유할 가능성을 열어 줄 것이다. 1부는 언어정보연구원에서 다면자료를 구축해 가는 과정에서 겪었던 문제점들을 해결해 나가는 모습을 담고 있다. 다면자료의 설계 과정과 도구(프로그램)의 선택, 주석 체계 등의 방법론을 정립하기까지 다방면에서 고민한 흔적들이 오롯이 담겨 있다. 2부는 다면자료에 담긴 비언어적 요소들을 분석한 구체적인 연구 성과들을 살필 수 있도록 구성하였다. 커뮤니케이션 과정에서 비언어적 요소를 분석하거나 몸짓이나 손동작 등의 역할에 대한 기존의 가설을 검증하고 다면자료의 교육적 활용을 모색하는 등 다면자료를 바탕으로 연구의 다양한 스펙트럼이 한 묶음으로 담겨있다.