Comunicación multimodal
Comunicación multimodal es aquella comunicación en la que intervienen modos humanos, como por ejemplo: la voz o el habla, los gestos, los ojos, los movimientos, etc. El objetivo de la comunicación multimodal es hacer más natural la interacción hombre máquina.
En la actualidad, la comunicación multimodal es un campo en el cual se está investigando y se ha convertido en una nueva frontera para las comunicaciones. La dificultad reside en cómo adaptar todos estos datos e información de manera que una interfaz electrónica los pueda interpretar y nos permita interactuar con ella mediante esta comunicación.
Respecto a los elementos citados anteriormente que influyen en esta comunicación podemos decir que: apenas una pequeña parte de estos instrumentos comunicativos se ha estudiado a fondo, mientras que la lingüística hace 2000 años atrás que se estudia. La lingüística ha estudiado las reglas que gobiernan el comportamiento verbal, pero casi no se han investigado el resto de las modalidades.
Por todo esto podemos decir que la interactividad y la comunicación multimodal es una apuesta de futuro que ya se está desarrollando en el presente.
Impacto de la comunicación multimodal en educación
Existen diversos modos de comunicación que se articulan entre sí para dar como resultado la creación de significados derivados del discurso de un emisor. En el ámbito educativo, este discurso multimodal adquiere relevancia en el espacio áulico ya que es ahí donde se da el mayor intercambio de palabras, gestos, posturas, esquemas, ilustraciones, etc., en relación a un objeto determinado de estudio entre el maestro y sus alumnos.
Los conceptos que se estudian en las materias científicas son contenidos muy bien estructurados, por lo que resulta relevante estudiar los modos de comunicación más apropiados para construir un significado común en torno al objeto de estudio. Conceptos como "el ciclo del agua", "la fotosíntesis", "la reproducción asexual de las plantas", etc., son ejemplo de ello. Se habla de una construcción en común porque intervienen en ella los alumnos como el docente para llegar a cierto consenso en la definición de cierto concepto. Es decir, se puede hablar de una dimensión social en los hechos de la comprensión científica de un objeto en particular o de una construcción social del aprendizaje.
Pero, ¿cuáles son estos modos particulares de comunicación o modos semióticos de los que estamos hablando? “Procesadores de textos, aplicación de dibujo o diseño, programas de animación (Citados por Márquez, 2003) y otros más que van surgiendo gracias al desarrollo de la misma tecnología. Además de lenguaje oral y escrito que tradicionalmente se ha venido utilizando en la práctica educativa. Más de alguno de los anteriores modos y otros que no se han mencionado tienen lugar en el aula; es decir, que son utilizados por el docente en su afán de enseñar y por los alumnos, en su tarea de aprender.
Hoy en día existe la necesidad de utilizar nuevas formas para que los alumnos se apropien de los conocimientos propiciando el empleo de las TICs en el diseño de ambientes de aprendizaje. En la actualidad es fundamental que el docente provoque la participación activa de los estudiantes durante su proceso de aprendizaje y solo se logrará utilizando diversos dispositivos donde se utilice la comunicación auditiva, visual, táctil y gesticular, con la posibilidad de realizar dicha interacción desde cualquier lugar y en cualquier tiempo.
Nos vamos acercando a la contribución más importante de esta multiplicidad de formas de comunicar los contenidos de aprendizaje. En la medida que se elijan las mejores formas comunicativas, las más variadas, las más pertinentes, el nivel de transferencia y apropiación de ciertos contenidos se acrecentará en la figura del docente como de los alumnos, lo cual tiene importantes implicaciones para obtener mejores resultados en los procesos de enseñanza y aprendizaje.
Impacto de la comunicación multimodal dentro de una sesión de clase
La incorporación de la comunicación multimodal en la educación presenta numerosas ventajas en el proceso de enseñanza-aprendizaje, su aplicación exige una preparación especial por parte de docentes y estudiantes para poder aprovecharla adecuadamente, exigiendo estrategias, modificaciones en su planeación, diversidad de materiales para presentar la información y una adecuada incorporación de las TIC que propicien la búsqueda y generación de conocimientos que permitan obtener el mayor beneficio de la labor docente y de los aprendizajes de los alumnos.
La incorporación de las TIC en la enseñanza influye en la presentación de la información en clase y exige cambios en la planeación y tratamiento didáctico, además de que facilitan la actualización rápida de la información y la posibilidad de poder complementarla entre diversos medios didácticos enmarcados en la clase no presencial como complemento de la clase presencial, finalmente es necesario lograr en los docentes la capacitación necesaria para la adecuada valoración y explotación de las TIC.
Lenguajes de funcionamiento
Los lenguajes utilizados como estándar para descifrar los diferentes modos de comunicación son:
- VoiceXML es un lenguaje de etiquetado que permite crear diálogos con los que se puede interactuar escuchando comandos hablados, controlables a través de entradas de voz. VoiceXML se encarga de convertir habla en texto y para ello utiliza, entre otros mecanismos; SRGS (Gramática de Reconocimiento del Habla).
- SRGS tiene como función principal, permitir que una aplicación de voz indique a un reconocedor, qué es lo que tiene que escuchar, es decir, palabras, modelos en los que estas palabras surgen, lenguaje hablado de cada palabra, etc.
- SSML, lenguaje de marcado de Síntesis del Habla, basado en XML, forma parte del proceso de salida de información y funciona como componente de conversión ayudando a generar habla sintética. Este lenguaje tiene como principal objetivo ofrecer a los autores de contenido sintetizable un camino estándar para controlar aspectos del habla como pueden ser la pronunciación, volumen, tono y velocidad, mejorando así la calidad del contenido sintetizado.
- EMMA es un lenguaje utilizado para el intercambio de datos en sistemas de administración de interacción multimodal. Es una especie de lenguaje común utilizado en la comunicación entre componentes de un sistema multimodal, cuyo objetivo es integrar la entrada de datos procedente de los usuarios desde diferentes recursos, y darle forma para ser procesada en una representación única que será a su vez procesada por componentes avanzados de procesamiento de información.
Ejemplificación
Un usuario señala un lugar en un mapa y dice: ¿cómo se llama este sitio? El sistema de interacción multimodal responde diciendo La Plaza de Europa, Gijón, Principado de Asturias, España, mostrando en el mapa el texto siguiente La Plaza de Europa, Gijón, Asturias, España. Ahora veamos las acciones llevadas a cabo por los componentes que intervienen en dicha acción:
- Usuario: Señala un lugar en el mapa y dice,¿Cómo se llama este sitio?
- Componente de reconocimiento del habla: Reconoce las palabras ¿Cómo se llama este sitio?
- Componente de reconocimiento del ratón: Reconoce las coordenadas x-y que el usuario ha señalado en el mapa.
- Componente de interpretación del habla: Convierte las palabras ¿Cómo se llama este sitio? en una notación interna.
- Componente de interpretación de indicación: Convierte las coordenadas x-y del lugar indicado por el usuario en una notación interna.
- Componente de integración: Integra la notación interna de las palabras ¿Cómo se llama este sitio?, con la notación interna de las coordenadas x-y.
- Componente del administrador de la interacción: Almacena la notación interna en el objeto de la sesión. Convierte la petición en una petición de una base de datos, envía la petición a un sistema de administración de peticiones, la cual devolverá el valor La Plaza de Europa, Gijón, Asturias, España. Añade la respuesta a la notación interna en el objeto de sesión. El administrador de la interacción convierte la respuesta en una notación interna y envía la respuesta al componente de generación.
- Componente de generación: Accede al componente de entorno para determinar que los modelos de voz gráficos están disponibles. Decide presentar el resultado como dos modelos complementarios, voz y gráficos. El componente de generación envía una notación interna representando La Plaza de Europa, Gijón, Asturias, España al componente de estilo de voz, y envía una notación interna al componente de estilo de gráficos, mostrando la ubicación de La Plaza de Europa.
- Componente de estilo de voz: Convierte en SSML la notación interna que representa La Plaza de Europa, Gijón, Asturias, España.
- Componente de estilo de gráficos: Convierte la notación interna que representa la ubicación en un mapa de La Plaza de Europa, Gijón, Asturias, España en una notación HTML.
- Componente de conversión de voz: Convierte la notación SSML en voz acústica para que el usuario pueda oírla.
- Componente de estilo de gráficos: Convierte la notación HTML en gráficos visuales para que el usuario pueda verlos.