¿Cómo y por qué es fundamental un enfoque formal de la multimodalidad para la alfabetización computacional y transmedia?

Resumen

Un elemento central del enfoque formal de la multimodalidad es la definición de modo semiótico, que combina tres niveles interdependientes: el sustrato material, las características técnicas organizadas en ejes de descripción (estructura) y el nivel de semántica del discurso. El narrador computacional cartografa las regularidades formales de un artefacto/situación comunicativa y demuestra la formalización de una semántica del discurso multimodal con el fin de construir nuevas hipótesis sobre la coherencia del discurso a diferentes niveles de detalle. El trabajo realizado se sitúa tanto en el aprovechamiento de las tecnologías disponibles como en el desarrollo de formas de organizar datos multimodales complejos. Se trata de desarrollar capas de anotación abstractas que nos permitan pasar de las propiedades de los datos medibles a interpretaciones y caracterizaciones en términos de narrativas y estrategias, bajo el reto de llegar a los significados de los patrones, en lugar de limitarse a encontrar patrones.