sábado, 27 de outubro de 2007

Ouvir os lábios e ver a voz: BA-BA, GA-GA ou DA-DA?

O som é ouvido ou visto? O som também se pode ver? As imagens também se podem escutar? As investigações mostram que a percepção da fala é multimodal, ou seja, a fala é ouvista.

O que é que está a ouvir: BA-BA, GA-GA ou DA-DA? Vídeo disponibilizado no canal arnte do YouTube:



A maioria das pessoas percepcionam o som "DA-DA": neste caso, o "D" resulta de uma ilusão audiovisual. Na realidade, o som produzido é "BA-BA" e o movimento dos lábios deste personagem é o correspondente a "GA-GA". Trata-se, portanto, de uma montagem em que o som foi sobreposto à imagem.

É muito interessante notar que o facto de se ter consciência do truque não elimina a ilusão: embora o som produzido seja "BA-BA" (confirme ouvindo o vídeo de olhos fechados), quando vemos o vídeo continuamos a ouver "DA-DA".

Este é o chamado efeito McGurk. Foi descrito pela primeira vez na revista Nature - 264(5588), pp. 746-748 -, em 1976, por Harry McGurk (1936-1998) - psicólogo do desenvolvimento na Universidade de Surrey, Inglaterra, na altura da publicação deste trabalho - e John MacDonald (assistente de McGurk). Através da combinação da informação auditiva e visual, percepciona-se um fonema diferente do fonema que na realidade foi usado, ou acusticamente, ou visualmente.

O estudo deste efeito está a ser utilizado na concepção de software de reconhecimento da fala mais preciso que utiliza simultaneamente informação vídeo para a leitura labial.

2 comentários:

Vanadis disse...

Bastante interessante! Mas um surdo parcial já podia ter descrito isso há mais tempo, se lhe tivessem dado atenção... ;-p :D

Carlos Portela disse...

Este efeito foi descrito em 1976. Mas o teu comentário é muito pertinente. Se se pretende estudar a interacção de vários estímulos é fundamental estudar também o que sucede quando os estímulos visuais e auditivos estão separados.

LinkWithin

Related Posts with Thumbnails