顔と音声の感覚融合としての腹話術効果

Ventriloquism and Audio-visual Integration of Voice and Face

はじめに

　オブジェクトとは，われわれが外的世界を理解するための処理単位¹⁾であり，その外的世界はさまざまなオブジェクトで溢れており，それらの多くは複数の異なったモダリティで定義することができる。例えば，オブジェクトは一般的に特定の形や色を持っており，ある状況下で音を出し，質感や肌触り，そして重みがあり，ときには特別な香りや匂いを持っている。それらの属性は脳内の担当部位でそれぞれ特徴抽出され，最終的に観察者であるわれわれは1つのまとまった表象として統合し，認識する。あるモダリティからの情報が別のモダリティからの情報と不一致であった場合には，適合する別のオブジェクトに置き換えられて統合されることもある。すなわち，矛盾した情報が提供される場合は，結果として2つ，もしくはそれ以上のオブジェクトとして認識されることになる。このような観点から，マルチモーダルな認知過程が取り上げられ，感覚融合認知による表象が盛んに議論されるようになった。

　当然ながら，顔もオブジェクトの1つであるが，日常物体のようなオブジェクトとは異なり，顔としての特有の特徴から，個体同定，性別，年齢，健康状態，感情などの特徴が抽出され，日常的な行動に結びつけられている。ここでは，顔情報処理における感覚融合認知に焦点を当てる。すなわち，発せられた音声が複数提示された顔のうち，どの顔の口元を音源としているのかという感覚融合としての定位に関する基本的な問題である腹話術効果を取り上げることになる。

Abstract

　Presenting synchronous auditory and visual stimuli in separate locations creates the illusion that the sound originates from the direction of the visual stimulus. Participants' auditory localization bias,called the ventriloquism effect,has revealed factors affecting the perceptual integration of audio-visual stimuli. However,many studies on audio-visual processes have focused on performance in simplified experimental situations,with a single stimulus in each sensory modality. These results cannot necessarily explain our perceptual behavior in natural scenes,where various signals exist within a single sensory modality. In the present study we report the contributions of a cognitive factor,that is,the audio-visual congruency of speech,although this factor has often been underestimated in previous ventriloquism research. Thus,we investigated the contribution of speech congruency on the ventriloquism effect using a spoken utterance and two videos of a talking face. The salience of facial movements was also manipulated. As a result,when bilateral visual stimuli are presented in synchrony with a single voice,cross-modal speech congruency was found to have a significant impact on the ventriloquism effect. This result also indicated that more salient visual utterances attracted participants' auditory localization. The congruent pairing of audio-visual utterances elicited greater localization bias than did incongruent pairing,whereas previous studies have reported little dependency on the reality of stimuli in ventriloquism. Moreover,audio-visual illusory congruency,owing to the McGurk effect,caused substantial visual interference to auditory localization. This suggests that a greater flexibility in responding to multi-sensory environments exists than has been previously considered.