Ouvir os lábios e ver a voz?

Reconstrução das anotações de um vídeo divulgado numa entrada anterior deste blogue (27 de Outubro de 2007).

O som é ouvido ou visto? O som também se pode ver? As imagens também se podem escutar? As investigações mostram que a percepção da fala é multimodal, ou seja, a fala é ouvista.

O que é que está a ouvir: BA-BA, GA-GA ou DA-DA?

Anotações adicionadas a vídeo disponibilizado no canal arnte do YouTube:

A maioria das pessoas percepcionam o som "DA-DA": neste caso, o "D" resulta de uma ilusão audiovisual. Na realidade, o som produzido é "BA-BA" e o movimento dos lábios deste personagem é o correspondente a "GA-GA". Trata-se, portanto, de uma montagem em que o som foi sobreposto à imagem.

Fonte: Grupo de Trabalho de Psicologia Cognitiva Ambiental, Universidade Ruhr de Bochum

É muito interessante notar que o facto de se ter consciência do truque não elimina a ilusão: embora o som produzido seja "BA-BA" (confirme ouvindo o vídeo de olhos fechados), quando vemos o vídeo continuamos a ouver "DA-DA".

Este é o chamado efeito McGurk. Foi descrito pela primeira vez na revista Nature - 264(5588), pp. 746-748 -, em 1976, por Harry McGurk (1936-1998) - psicólogo do desenvolvimento na Universidade de Surrey, Inglaterra, na altura da publicação deste trabalho - e John MacDonald (assistente de McGurk). Através da combinação da informação auditiva e visual, percepciona-se um fonema diferente do fonema que na realidade foi usado, ou acusticamente, ou visualmente.

O estudo deste efeito está a ser utilizado na concepção de software de reconhecimento da fala mais preciso que utiliza simultaneamente informação vídeo para a leitura labial.