Autor: Carlos López Charles
Idioma: Español
Fecha de Publicación: 25/06/2009
Actividad en donde fue presentado: EMS 09. Herencia y futuro
Publicación
1. Introducción
Las diferencias que existen entre los materiales sonoros y visuales han sido objeto de complejas polémicas sobre las correspondencias entre sus propiedades. Artistas y teóricos de distintos perfiles (como Wagner, Kandinsky, Eisenstein, Schoenberg, McLaren y Chion, entre otros) se han enfocado en esta situación desde diversos ángulos. Sin embargo, las relaciones que se pueden establecer entre sonido e imagen al interior de procesos creativos parecen obedecer a lógicas complejas que han sido difíciles de formalizar.
El concepto de transducción ha sido evocado en investigaciones previas en referencia a una técnica utilizada para establecer circulaciones de información entre elementos de la imagen y el sonido en la composición asistida por computadora (Sedes et al., 2003). Este artículo aborda el concepto de transducción como una herramienta para describir y analizar los mecanismos que permiten crear transferencias de elementos entre los ámbitos sonoro y visual a diferentes niveles de procesos de composición. El objetivo es establecer un marco conceptual en el que sonidos e imágenes puedan ser puestos en interacción a través de la transducción. Varias disciplinas (tales como la composición musical, las artes visuales, la musicología, las ciencias cognitivas, la arte-terapia, entre otras) podrían beneficiarse de la aplicación de este concepto.
2. Definición de transducción
Jessús G. Maestro (Maestro, 2005) señala que la palabra “transducción” deriva del latín transductio, cuyo significado original es la transmisión (ducere, “llevar”) de algo a través de (trans-) un determinado medio que actúa sobre el objeto, provocando en éste ciertas transformaciones. En este proceso, el transductor es el agente que transmite o lleva (ductor-oris) un objeto que es transformado como consecuencia de entrar en contacto o interactuar con el medio a través (trans) del cual se expresa.
Fig.1 Esquema básico de un proceso de transducción
3. Su uso en diferentes contextos
Los campos en los que el concepto de transducción es utilizado son variados:
a) En física, el término es entendido como la conversión de una cantidad de energía de un tipo (e.g., luminosa, acústica, calorífica, etc.) en energía de otro tipo distinto.
b) En genética, esta palabra describe al mecanismo por medio del cual el DNA (código genético) es transferido de una bacteria a otra por medio de un virus (Nair, 2008). Ésta es una heramienta común utilizada por los biólogos moleculares para transferir un gen foráneo al genoma de una célula anfitriona.
c) En semiótica, la transducción es definida como la transformación de signos de un campo de conocimiento a otro que mantiene una conexión original a su nivel fenomenológico más profundo (Maestro 2005). El concepto fue introducido por L. Dolezel (Dolezel 1986) para referirse a los procesos de transmisión y transformación que las obras literarias atraviezan al ser objeto de actividades tales como la incorporación de un texto (o alguna de sus partes) en otro, cambiar de un género a otro (novela a teatro, cine, etc.), la traducción de un texto a idiomas extranjeros, etc. El concepto de transducción es entendido aquí como la transformación de signos entre un campo de conocimiento y otro que mantiene una conexión original a su nivel fenomenológico más profundo (Maestro 2005).
4. ¿Qué objetos podemos transducir entre sonidos e imágenes?
Los procesos de transducción pueden ser tan variados como las características de los objetos que pretendemos transferir entre dos diferentes ámbitos. Dentro de un proceso compositivo, lo primero que tendríamos que identificar para poder establecer una relación de transducción sería la naturaleza de estos objetos.
Sabemos, por ejemplo, que la percepción del sonido es posible gracias a las variaciones de presión del aire que viajan desde una fuente de emisión a sus alrededores a una velocidad de aproximadamente 345 m/s. Las imágenes, por otro lado, son producidas por ondas electromagnéticas que viajan a una velocidad de casi 300 millones de m/s. Sin embargo, estos cambios de presión y radiaciones electromagnéticas no son en sí mismos sonidos ni imágenes, sino fenómenos físicos cuyas variaciones son captadas por nuestros órganos sensoriales.
De la misma forma en la que la corriente eléctrica de un cable conectado a una bocina varía proporcionalmente con los sonidos que emanan de ella pero no guardan ninguna otra semejanza con ellos, también nuestras sensaciones varían proporcionalmente (y no necesariamente de manera directa) con aquello que las causa. Esto quiere decir que los sonidos e imágenes que percibimos son construcciones realizadas a partir de las señales sensoriales que llegan a nuestro cerebro y que los estímulos que producen nuestras sensaciones no tienen en sí ni timbre, ni color, ni textura, etc. En resumen, tanto los sonidos como las imágenes que percibimos como sus propiedades son elaboraciones subjetivas de nuestras mentes.
5. Principios cognitivos y su relevancia en procesos de transducción
5.1 Integración de señales visuales y auditivas en el cerebro.
Alain Berthoz señala que una psicología de la percepción seria debería renunciar a separar las funciones sensoriales y, en cambio, concentrarse en su naturaleza multimodal (Berthoz 1997). Con respecto a esto, podríamos mencionar que el colículo superior es el lugar principal de convergencia de las señales visuales, auditivas y proprioceptivas (aquellas que tienen que ver con la conciencia del movimiento corporal propio) que llegan al cerebro.
Berthoz describe la manera en la que el cerebro asegura la integración temporal de estas distintas señales en el colículo a través de “ventanas temporales” de gran flexibilidad y simplicidad. Se ha constatado por medio de observaciones electrofisiológicas que un estímulo luminoso provoca una descarga en el cerebro que puede ser mantenida por más de 100 milisegundos, permitiendo al cerebro dar una respuesta integrada a éste y a otras señales sensoriales que pudieran llegar hasta varios milisegundos después.
Si escuchamos, por ejemplo, una puerta que se azota de nuestro lado derecho y volteamos nuestra cabeza para mirar hacia ella, integramos por lo menos tres modalidades sensoriales: visión, audición y movimiento. Estos ajustes entre nuestros sentidos son logrados en el colículo superior. La manera en la que el colículo trabaja nos indica que (1) la percepción de un sonido o una imagen es frecuentemente acompañada por actividad neuronal en otras modalidades sensoriales y (2) que nuestro sentido del movimiento corporal (propriocepción) está íntimamente ligado a la percepción sonora y visual.
5.2 La percepción es un acto de simulación
Schmidt (Schmidt 1975) señala que el cerebro guarda estructuras de movimiento a las que él llama “esquemas motores”. Estos esquemas pueden ser vistos como relaciones memorizadas entre varios componentes de una acción (tal como la posición de los miembros del cuerpo, la posición de un objeto en movimiento, la percepción de un sonido que se mueve en el espacio, etc.) Los esquemas motores actúan como mapas cognitivos con base en los cuales el cerebro puede predecir las consecuencias de las acciones que percibe. Estas predicciones son lograda al comparar las acciones percibidas con esquemas motores invocados a través de la memoria de acciones pasadas. Ésta es una de las razones por las cuales la Teoría Motora de la Percepción señala que la percepción no es pasiva, sino que es una simulación activa de las acciones que percibimos.
Rizzolatti (Rizolatti, G. et al. 1990) descubrió recientemente un tipo de neuronas que verifican la existencia de estos esquemas motores: las neuronas espejo. Las neuronas espejo influyen sobre el sistema motor cuando observamos la acción de otro sujeto (Delannoy, 2008). Este mecanismo no sólo nos permite entender una acción, sino también comprender las intenciones detrás de esa acción. Estas neuronas son la base de la empatía porque nos permiten mimetizarnos con (simular) la condición emocional de un individuo (humano o animal). La comunicación afectiva entre músicos y público, por ejemplo, es posible gracias a los lazos estrechos que existen entre las neuronas espejo y el sistema límbico, que es la parte del cerebro encargada de nuestra actividad emocional.
5.3 Isomorfismo
El concepto de isomorfismo es fundamental para poder profundizar en la idea de transducción. Este término significa literalmente igualdad (iso) de forma (morfos). En matemáticas, un isomorfismo implica una relación de correspondencia de una a uno entre los elementos de dos sistemas numéricos (Levi 1956). Esta definición expresa una igualdad estructural entre dos sistemas distintos. El isomorfismo requerido por la Teoría Gestalt, sin embargo “no es un isomorfismo estructural estricto” (Köhler 1969), sino simplemente un isomorfismo funcional que “da cuenta de las propiedades de los objetos como son percibidos subjetivamente, preservando las transformaciones funcionales observadas en la percepción”. Podríamos rebatir esta definición de isomorfismo funcional ya que todo lo que percibimos es, como hemos explicado, percibido de manera subjetiva. Es por esto que no haremos una distinción entre isomorfismo estructural y funcional.
6. Transducción como metáfora de la herencia genética
La posibilidad de medir la manera en la que las propiedades de los sonidos e imágenes varían en el tiempo nos permite codificar su conducta de distintas formas: por medio de gráficos, notación musical, código alfanumérico, etc. Representadas como código, las variaciones dinámicas del movimiento de un objeto en un ámbito de origen pueden ser transferidas (mapeadas) a otro ámbito, preservando así una correspondencia estructural entre el objeto original y el transformado.
Este mecanismo evoca la forma en la que la transducción es utilizada en el campo de la genética. En este campo, el DNA (código genético) es transferido de una bacteria a otra por medio de un virus (Nair 2008). La presencia de este tipo de transducción en la creación artística se refleja en el uso de conceptos para describir, analizar u operar sobre propiedades de objetos sonoros o visuales (tales como el movimiento, el crecimiento, la textura, el comportamiento, la densidad, etc.). El uso de estos términos nos muestra cómo los elementos de ambas modalidades pueden ser relacionados “genéticamente” entre ellos.
Podemos encontrar un ejemplo de transducción isomórfica en las relaciones que existen entre la partitura de la obra “Metástasis”, de Iannis Xenakis, y los planos arquitectónicos de su Pabellón Phillips. Ambas obras son isomórficas dado que sus estructuras surgen a partir de un código común: la partitura de “Metástasis”.
Hoy en día, la transducción basada en isomorfismos estructurales es ampliamente utilizada en el arte electrónico a través del uso de varias herramientas (como los programas Jitter, Praat, Spear, Soundhack, etc.) que nos permiten representar diferentes atributos del sonido y la imagen bajo forma de código. Por ejemplo, en mi obra audiovisual “Estudio Elástico, la transducción entre sonido e imagen fue establecida codificando las variaciones dinámicas de algunas propiedades del sonido (tales como nivel de ruido, intensidad y brillo perceptivo) y utilizando el código resultante para controlar la generación de objetos visuales animados por computadora, así como algunas de sus características (velocidad de movimiento, color, trayectoria, etc.). Las relaciones entre las propiedades del sonido y de la imagen fueron ajustadas en función de las necesidades expresivas de cada momento particular de la obra, pero siempre guardando un isomorfismo entre su estructura.
Fig. 2 “Estudio Elástico”: objetos visuales resultantes de la transducción entre sonido e imagen
7. La transducción como metáfora del cuerpo
El uso del cuerpo en la música electroacústica es un factor fundamental para lograr establecer relaciones isomórficas entre imagen y sonido en la música electroacústica. Podemos encontrar ejemplos de esto en “Le repas du serpent/Rétour a la raison” de Javier Álvarez para cello, sonidos electroacústicos y video. En esta obra, la parte de video muestra una escena en la que una serpiente engulle a un conejo. Durante el transcurso de la pieza, la cellista ejecuta una serie de acciones productoras de sonido (como rotaciones, variaciones de velocidad, de presión del arco, cambios de trayectoria y de tono muscular, etc.) que son coherentes con las estructuras expresadas por el movimiento corporal de la serpiente que aparece en el video.
Fig. 3 Transducción en la obra “Le repas du serpent” de Javier Álvarez
a partir de la ejecución de acciones productoras de sonido.
En la interpretación musical, la simulación juega un papel fundamental para poder lograr establecer relaciones de transducción entre los ámbitos sonoros y visual. Un ejemplo de esto sería la dinámica de comunicación que se establece entre la expresividad visual de un director de orquesta y la expresividad musical de los intérpretes. Durante la interpretación de una obra, los músicos tienen que hacer una predicción constante de los movimientos corporales del director. Esto les permite simular sus intenciones mediante acciones productoras de sonido (transducción de imagen a sonido). De la misma forma, el director de orquesta debe desarrollar un ajuste constante de su imagen corporal dependiendo de los resultados sonoros que desea obtener de la orquesta (transducción de sonido a imagen).
8. Transducción a partir de la imaginería mental
Dado que nuestras percepciones son elaboraciones mentales, una experiencia perceptiva puede ser real o imaginaria. Estudiar la transducción a partir de experiencias imaginarias plantea, sin embargo, problemas metodológicos por la dificultad de observar lo que ocurre en la mente durante el acto de imaginar. Sin embargo, existen hoy en día métodos de observación (como las tomografías y los encefalogramas) que nos permiten observar lo que se asume que ocurre en el cerebro durante la imaginería mental, que es el acto de imaginar experiencias perceptivas en ausencia de sus estímulos externos correspondientes (Godoy 2003). La imaginería mental puede ser activada en diferentes modalidades sensoriales simultáneamente, y sus variedades (imaginería auditiva, imaginería visual, imaginería motora, etc.) se refieren a la modalidad sensorial que predomina en la experiencia imaginada.
Un descubrimiento significativo relacionado con la imaginería mental es el de la “equivalencia funcional”. Este término se refiere al hecho de que la imaginería motora y la ejecución de acciones motoras están relacionadas a las mismas zonas cerebrales (Decety & Graces, 1999). Esto quiere decir que existe una semejanza muy estrecha entre las formas en las que el cerebro se activa cuando ejecuta o percibe acciones y cuando solamente las imagina. Un cuerpo considerable de evidencia a favor de esto ha sido provisto por el análisis de las funciones cerebrales que están activas durante los actos de imaginar y ejecutar acciones (Holmes et al. 2001).
La equivalencia funcional nos indica que una estrategia creativa basada en la imaginación de experiencias perceptivas puede ser tan efectiva para establecer relaciones de transducción entre sonidos e imágenes como una experiencia actual. Otro descubrimiento interesante es que, como todo movimiento imaginado y las acciones que le acompañan se llevan a cabo en un espacio imaginario, usualmente habrá una activación de imaginería de diferentes modalidades sensoriales durante el acto de imaginar (Decety & Graces, 1999). A este respecto, Alain Berthoz (Berthoz, 1997) señala que nuestros mecanismos neuronales de inhibición de las acciones son esenciales para poder imaginar (simular) acciones sin necesariamente ejecutarlas.
9. Un enfoque semiótico para la aplicación del concepto de transducción
Como hemos mencionado, los sonidos e imágenes son elaboraciones mentales y sus relaciones con las experiencias vividas no pueden ser separadas de su percepción. La percepción es una elaboración constante de significados y es por esto que un enfoque basado en la transducción tendría que tomar en cuenta la transferencia de significados que se pueden establecer entre sonidos e imágenes al interior de un proceso compositivo.
El abordar un sistema audiovisual como un sistema de signos nos permite utilizar los conceptos analíticos existentes en los estudios sobre semiótica. Jesús González Maestro (Maestro 2005) señala que para que la transducción de significado pueda tener lugar, un agente intermediario tiene que transformar el sentido del mensaje enviado al receptor. En la creación audiovisual, este proceso sitúa al sujeto intermediario en el centro de una red en la que diferentes tipos de signos visuales y sonoros son transformados y transmitidos a través de su mediación. Factores tales como la intuición, las motivaciones personales, las experiencias previas, el contexto cultural y el conocimiento o habilidades que un individuo pueda tener en el trabajo del sonido o la imagen tienen un factor decisivo en la creación de significado a partir de objetos visuales o sonoros. En este contexto, los signos visuales y sonoros son sonidos e imágenes que pueden expresar algo, que encarnan un significado particular que cobra actualidad a través de su apropiación por parte de un receptor.
Fig. 4 Transducción de significado entre dos ámbitos distintos
En algunas formas artísticas como el teatro, la ópera, el video arte y el cine, la complejidad de la transducción de significado puede incrementar de maneras interesantes en virtud de la variedad de sistemas semióticos que entran en juego. T.Kowzan (Kowzan 1969), por ejemplo, clasifica trece sistemas de signos utilizados en la representación teatral: 1. palabra; 2. tono de voz; 3 mímica; 4. gesto; 5. movimiento; 6. maquillaje; 7. peinado; 8. atuendo; 9. accesorios; 10. decoración; 11. iluminación; 12. música; 13. efectos de sonido. A pesar de que los límites entre las categorías de Kowzan son borrosos y de que podríamos añadir fácilmente otros sistemas a su clasificación, ésta nos permite darnos una idea de la variedad de sistemas que pueden participar en la elaboración del significado de una obra. Un guiño de ojo, un color, una inflección de la voz, un ángulo de cámara, un accesorio o un sonido… en un proceso de creación cualquier cosa puede actuar como un signo (Kowzan 1965) porque los signos son creados por la actividad humana.
La riqueza de estos formatos implicaría la consideración de varios tipos de sistemas de signos sonoros y visuales que, a pesar de sus diferencias, están relacionados por un agente intermediario (un transductor). Este agente transductor se consolida a partir del momento en que su acción sobre el mensaje condiciona las posibilidades de recepción por parte del público (Maestro 2005).
10. Observaciones finales
Explorar los mecanismos que posibilitan la transducción entre imagen y sonido sería un paso fundamental para lograr expandir las estrategias creativas en las artes sonoras, visuales o audiovisuales. En la música electroacústica, por ejemplo, los sistemas informáticos son usados con demasiada frecuencia para transducir aspectos estructurales entre sonidos e imágenes. Sin embargo, un enfoque transductivo para el desarrollo de sistemas informáticos podría contribuir a ampliar las posibilidades de las herramientas existentes. Una técnica desarrollada en el campo de la inteligencia artificial llamada “inferencia transductiva” (Gammerman et al. 1998) sería una de las vías que más claramente podrían podrían comenzar a ser usadas para desarrollar tecnologías para establecer transferencias entre elementos de ambas modalidades. Esta técnica podría servir para “entrenar” a la computadora para generar transducciones entre imágenes y sonidos en respuesta a estímulos visuales o sonoros.
Finalmente, estoy convencido de que una teoría de la creación audiovisual que busque estudiar las relaciones entre la imagen y el sonido más allá de sus estructuras, referentes o analogías tiene que considerar el uso de una poética de intermediarios: una poética de la transducción (Maestro 2005). Esta aproximación nos permitiría comprender las relaciones entre sonido e imagen desde una perspectiva holística que abarque tanto los factores biológicos como los aspectos subjetivos con las que los intermediarios intervienen para transducir información significativa entre sistemas de signos sonoros y visuales.
Referencias
BERTHOZ, Alain, “Le sens du movement”, 1era edición, Paris, Odile Jacob, 1997 p.86-87, 229.
BRIZUELA, Mabel “Los procesos semiósicos del teatro”, 1era edition, Mungia, España, Ediciones Reichenberger, 2000, p.VIII.
Decety, J., & Grèzes, J. (1999). “Neural Mechanisms Subserving the Perception of Human Actions”, pp.172-178, en: Trends in Cognitive Science, vol.3, 1999.
DELANNOY, Luc “El espejo: ensayos sobre la conciencia musical seguidos de la consciencia inacabada”, 1era edición, México, Centro de Investigaciones en Neuroestética y Neuromusicología A.C. (CINNE), 2008, p.139.
DOLEZEL, Lubomir “Semiotics of Literary Communication” pp. 5-48, en: Strumenti Critici, vol. 1, num. 1, 1986.
GAMMERMAN A., VOVK V., VAPNIK, V., “Learning by transduction”, en: F. Cooper and S. Moral, Proceedings of Uncertainty in Artificial Intelligence, San Francisco, California, Eds. Morgan Kaufmann, 1998, pp. 148–155.
GODOY. Rolf Inge “Gestural Imagery in the Service of Musical Imagery” en: A. Camurri and G.Volpe (Eds.), Gesture-Based Communication in Human-Computer Interaction, Berlin, Springer Berlin / Heidelberg, 2004, p. 56.
HOLMES, Paul / COLLINS, David “The PETTLEP Approach to Motor Imagery: A Functional Equivalence Model for Sports Psychologists”, p.63, en: Journal of Applied Sport Psychology, vol. 13, num. 1, 2001.
Kowzan T. (1969) “El signo en el teatro”, en: T. Adorno et al., “El teatro y su crisis actual”, Caracas, Monte Ávila 1992, p.45.
LEHAR, Steven, “Gestalt Isomorphism and the Primacy of Subjective Conscious Experience: A Gestalt Bubble Model” en: Behavioral & Brain Sciences, vol.26, num. 4, 1999, p.11.
LEVI, Howard “Elements of Algebra”, 1era edición, Nueva York, Chelsea Publishing Company, 1956, p.96.
MAESTRO, Jesús G., “Semiotics and Transduction: Materialistic Interpretation of Human Communication”, 1era edición, Pontevedra, Mirabel Editorial, 2005, p.2, 62.
NAIR, A.J., “Introduction to Biotechnology and Genetic Engineering”, 1era edición, Hingham, Massachusetts/New Delhi, India, Infinity Science Press LLC, 2008. p.311.
RIZZOLATTI, G. et al., “Neurons related to reaching-grasping arm movements in the rostral part of area 6 (area 6a)”, p.337- 350, en: Experimental Brain Research, vol. 82, num. 2, 1990.
SCHMIDT, R.A., “A schema theory of discrete motor skill learning”, pp. 225-260, en: Psychological Review, vol. 82, num. 1, 1975.
Sedes, A.; Verfaille, V.; Courribet, B., Thiébaut, J. B., “Visualisation de l’espace sonore, vers la notion de transduction”, pp. 125-143, en: A. Sedes, Espaces sonores, actes de recherches, Paris, Editions Musicales Transatlantiques, 2003.
UNIVERSITY OF OXFORD, “Oxford Dictionary of Science”, 5ta edición, Nueva York, Oxford University Press, 2005, p.672.
Vaggione, Horacio “Symboles, signaux, opérations musicales” Paris, MSH/Paris Nord, Université Paris VIII, 2006, p. 20.
YELIZAVETA, Marchenko; TAT-SENG, Chua; RAMESCH, Jain, “Ontology-based Annotation of Paintings using Transductive Inference Framework”, pp. 13-22, en: “Advances in Multimedia Modeling”, 13th Multimedia Modeling Conference Proceedings, MMM 2007, vol. 4351/2006, 2007.
Carlos López Charles
Centro Mexicano para la Música y las Artes Sonoras
carlos@cmmas.org