SONIC IDEAS | EXTRAS | CMMAS | CONTACTO | LOGIN
Vol3 No.2 INICIO
HOME
Vol3 No.2
ISSN 2317-9694

Video/Presentation
Convocatorias/Calls
Materiales EXTRA Materials
Login

Cupón
codigo:

Un Enfoque Enactivo al Diseño de Nuevos instrumentos Musicales Tangibles
Por/By: Georg Essl / Sile O'Modhrain

Un Enfoque Enactivo al Diseño de Nuevos instrumentos Musicales Tangibles1

En este trabajo proponemos un marco teórico para el diseño de interfases tangibles para la expresión musical. La visión principal que aporta el enfoque aquí propuesto es la importancia y utilidad de las experiencias sensorial-motoras conocidas, para la creación de nuevos instrumentos musicales que se puedan ejecutar y que sean atractivos por sus posibilidades. En particular sugerimos aprovechar los aspectos comunes entre las diferentes interacciones naturales a través de variar la respuesta auditiva o los detalles táctiles del instrumentos dentro de ciertos límites. Usando este principio, se pueden diseñar dispositivos para clases de sonidos, tales como interacciones de colisión de grano grueso, o interacciones de fricción. Los diseños que proponemos mantienen el aspecto táctil familiar en su interacción, de tal manera que el ejecutante puede aprovechar el conocimiento tácito que haya adquirido a través de su experiencia con dichos fenómenos en el mundo real.

 

Introducción

La Interacción con objetos en el mundo que nos rodea es una experiencia multisensorial muy rica. Al arrojar una piedrecilla a un estanque podemos ver el oleaje que resulta al perturbarse la superficie del agua y podemos escuchar el impacto de la piedra en el agua que se manifiesta en la perturbación del aire. Si estamos lo suficientemente cerca y la piedra es lo suficientemente grande también podemos mojarnos. Más aún, la interacción de la piedra y el agua hace explícita cierta información – el tamaño de la salpicadura se correlacionará con el tamaño de la piedra así como con la fuerza con la cual fue arrojada, y el sonido que produce aportará información sobre la profundidad del agua. Así pues, las leyes físicas que gobiernan el comportamiento de las piedras que caen en el agua dan surgimiento a un evento que se percibe a través de muchos canales sensoriales, cada uno de los cuales codifica, en sus diferentes maneras, la complejidad del evento. Por consiguiente, el sistema de percepción puede recurrir a una cantidad de representaciones del evento. En este trabajo sugerimos que es posible construir una metodología para el control sonoro basado en los aspectos comunes entre el comportamiento de objetos físicos y el de los objetos sonoros, que comparten muchas de sus propiedades físicas.


La Física de los Gestos Instrumentales

Muchas de las interacciones con objetos físicos se perciben o son físicamente similares. Por ejemplo, la experiencia de agitar un recipiente con cubos de hielo comparte muchas de las cualidades de percepción con el agitar un recipiente lleno de piedras, o de balines, o de caramelos cocidos. Todos son objetos de tamaño y dureza similares, propiedades que dan surgimiento a percepciones (inerciales) auditivas y hápticas similares cuando chocan entre sí dentro del recipiente. Más aún, estas propiedades físicas similares también definen los tipos de gestos posibles. En el caso del ejemplo anterior, uno se puede imaginar meter una mano en el contenedor y revolver los objetos o incluso quitar unos cuantos, o sujetarlos con la mano. Otra clases de objetos no comparten estas propiedades – uno no puede, por ejemplo, quitarle la parte superior a una mesa a voluntad – la física del sistema obliga a que un escritorio no sea algo que podamos alzar fácilmente de la misma manera en que lo son los cubos de hielo. En este sentido podemos decir que la física de una interacción define su espacio gestual.

 Al desarrollar una teoría que capturara la noción de los determinantes físicos del espacio gestual de los instrumentos musicales, Claude Cadoz definió el término gesto instrumental (Cadoz, 1988; Cadoz y Wanderley, 2000). Para él, los gestos instrumentales son aquellos que satisfacen tres requerimientos: contienen información (semiótica) que es transmitida a un escucha, contienen las acciones del ejecutante en el sistema físico (la ergótica), y abarcan la percepción del ambiente o contexto físico tanto del ejecutante como del escucha (lo epistémico). Así, en el ejemplo anterior, la información visual y auditiva de los cubos de hielo en colisión dentro de un recipiente, cuando es agitado por un ejecutante, sería el componente semiótico del gesto instrumental. Las acciones del ejecutante son la parte ergótica y la percepción del ejecutante, por ejemplo, las sensaciones táctiles en las yemas de los dedos, serían el componente epistémico. Según su definición, Cadoz requiere estrictamente que estén presentes los tres componentes. Por consiguiente, esta definición excluiría las interacciones del tipo que no emplean las manos, como se usan en instrumentos basados en gestos tales como el Theremin. Para nuestro propósito, la noción de Cadoz del gesto instrumental es interesante porque, debido a su insistencia en la presencia simultánea de los tres componentes, enfatiza la interacción compleja entre las acciones del ejecutante y las experiencias sensoriales tanto del ejecutante como del escucha.


Trabajos Relacionados

El principio de diseño que proponemos tiene sus raíces en el reconocimiento de la importancia de la tangibilidad del diseño instrumental (Rovan y Hayward, 2000; O’Modhrain, 2000). Estas ideas ya han sido expresadas en diferentes contextos anteriormente, por ejemplo, dentro de los principios de diseño desarrollados por Ryan (1991). Según Ryan, ‘El truco está en darle una agarradera física a las simulaciones fantasma’ (Ryan 1991). Para él, proveer un aspecto físico, que posteriormente sería denominado tangibilidad por Ishii y Ullmer (1997), es una manera de hacer que los sonidos abstractos sean concretos.


Vertegaal, Ungvary y Kieslinger destacan la importancia de la tangibilidad tanto para el ejecutante como para el escucha al decir:


El esfuerzo físico es un parámetro musical importante tanto para el artista como para el público:

(1) Los artistas necesitan sentir una pieza a medida que es creada y ejecutada.

(2) El público percibe el esfuerzo físico como la causa y la manifestación de la tensión musical de la pieza … (Vertegaal et al. 1996).


Consideramos que nuestra principal contribución a este trabajo previo se encuentra en basar firmemente las recomendaciones de diseño para interfases tangibles en un marco teórico cognitivo y sensorial-motor, sugiriendo que es posible lograr variaciones más específicas en la relación entre los aspectos auditivo y tangible de una interfase instrumental.

Existe una cantidad creciente de propuestas que convergen con respecto a las pautas para el diseño de nuevos instrumentos musicales, que pueden ser de interés aquí, a pesar que no enfatizan la tangibilidad estrictamente. La noción de intimidad entre el ejecutante y el instrumento es enfatizado por Fels (2004) y también por Wessel y Wright (2001), remontándonos a consideraciones anteriores en esta dirección planteadas por Moore (1988). La intimidad, tal como lo propone Fels, ‘tiene que ver con la correlación que se percibe entre el comportamiento de un dispositivo y su operación’ (Fels 2004). La mayoría de las sugerencias más generales a un nivel abstracto se originan del trabajo de Wanderley (2001), y también se puede encontrar una perspectiva general comparable en la tesis reciente de Jordà (2005). En la obra de Wanderley, el problema canónico del mapeo y las estrategias para la evaluación posterior al diseño juegan un papel prominente (ver también Orio, Schnell y Wanderley, 2001). La preocupación principal de Wanderley es el “análisis equilibrado” del control gestual y la síntesis sonora ancladas en su mapeo relacional, así como en el desarrollo de las metodologías de evaluación como un camino hacia los principios de diseño. Jordà promueve la noción de eficiencia en la interfase, el paralelismo, el macro-control y la transparencia. Muchas de estas perspectivas provienen de la experiencia personal en el trabajo continuo con el diseño de instrumentos musicales (Cook 2001; Jordà, 2005). Nosotros no buscamos proponer principios que funcionen para todas las categorías de interfases y por lo tanto no intentamos cubrir toda la gama de interfases considerada por Wanderley y Jordà. Más bien, sugerimos un principio de diseño en el contexto de la tangibilidad que utilice explícitamente los aspectos cognitivos y sensorial-motor.

Varios instrumentos musicales diseñados en la historia reciente se encuentran muy cerca del principio que queremos enfatizar aquí. Estos se pueden dividir a grandes rasgos en tres categorías. Una categoría toma los instrumentos tradicionales y los expande añadiéndoles tecnologías sensoras que ofrecen acceso a aspectos del gesto instrumental. El trabajo más completo en esta área es el de Machover y sus colegas en el desarrollo de los llamados Hiperinstrumentos (Machover, 1992). El HyperBow (HiperArco, Young, 2002), por ejemplo, provee acceso a una amplia variedad de parámetros de la ejecución de arcos para cuerdas, incluyendo presión, velocidad e inclinación del arco. De manera similar, el controlador HyperPuja diseñado por Diana Young permite la detección de la velocidad y la presión de fricción de la baqueta utilizada para los cuencos resonantes tibetanos (Young y Essl, 2003).

La segunda categoría de relevancia es la de los instrumentos que replican, en vez de extender, a los instrumentos tradicionales. Típicamente este proceso de replicar elimina o altera algún aspecto del instrumento tradicional. Por ejemplo, el vBow (Nicols, 2003) es una réplica de una cuerda frotada por un arco, pero en vez de mantener la cuerda, ésta es substituida por un mecanismo de retroalimentación forzada y un modelo de audio derivado físicamente, de tal manera que la interfase física ha sido desacoplada de una cuerda física que suena. La ePipe replica a los instrumentos de aliento con agujeros, como las flautas de pico, o las flautas de las gaitas (Cannon, Hughes y O’Modhrain, 2003). En estos casos, se ha eliminado el flujo de aire físico, y la acción del dedo sobre el agujero es detectada utilizando un sensor capacitivo de grano fino delicado. En un enfoque similar, el mecanismo del dispositivo háptico de Gillespie, el cual simula la acción de una tecla de piano, elimina el sistema físico que produce el sonido de un piano real, y lo substituye por una pantalla que despliega la retroalimentación forzada y una salida de audio sintetizado (Gillespie 1996). Los controladores de percusión de sonaja PhISEM de Perry Cook también entran dentro de esta categoría (Cook, 2001). Mientras que todos estos instrumentos reemplazan el sistema físico que es el mecanismo que produce el sonido, todos ellos reconocen que el estrecho acople entre el sonido y la sensación de un instrumento es una parte fundamental del gesto instrumental, por lo que retienen el aspecto físico de la interacción original.

Una variación de esta categoría son los instrumentos que están basados en una réplica pero permiten una variación en la característica de su ejecución gracias a la libertad que brinda la nueva tecnología utilizada. Un ejemplo de este tipo de instrumento es el Tooka, diseñado por Felse y Vogt (2002), en donde un instrumento de viento ha sido reconstruido pero modificado para ser ejecutado por dos personas a la vez.

Una tercera categoría contiene instrumentos que se reapropian de gestos instrumentales, es decir instrumentos que usan las propiedades físicas de un mecanismo para controlar otro. Este tipo de instrumentos explotan las similitudes entre la física de las familias de mecanismos de producción sonora, y son más efectivas cuando la física de los mecanismos que producen el sonido de los instrumentos original y substituto, se relacionan a través de le-yes físicas naturales. En su forma más simple, los teclados MIDI que pueden ser usados para tocar sonidos de piano o clavicordio, son reapropiaciones. Los pianos y los clavicordios son ambos ejemplos de instrumentos de teclado que utilizan control balístico – es decir, el ejecutante no puede afectar una nota una vez que la tecla ha sido presionada. No obstante, existen controladores que llevan esta idea mucho más lejos. La familia de instrumentos SqueezeBox de Cook y Leider (2000), por ejemplo, emplea un controlador que se reapropia de los gestos usados en la ejecución del acordeón, para controlar un modelo del tracto vocal humano. En estos casos, los mecanismos que producen el sonido son mucho más complejos, pero continúan siendo relacionados en virtud de su física común. La dinámica del aparato de la respiración puede ser reconocida en el comportamiento dinámico del aire que fluye a través de los fuelles de un acordeón, y en el movimiento del aire a través de una lengüeta o una hoja plegable. Es justamente esta oportunidad de reapropiarse de los gestos instrumentales y aprovechar la similitud de oportunidades ofrecidas por mecanismos físicos relacionados, lo que ha motivado el trabajo descrito a continuación.

 Existe también un gran número de interfases abstractas tangibles para control musical que no tienen paralelos en el diseño de instrumentos existentes. Los Squeezables (Compresibles, 2001) y el Sonic Banana (Banana Sónica, Singer, 2000) son dos ejemplos de este tipo de dispositivo. Sus propiedades tangibles son determinadas no por leyes motivadas físicamente que vinculan el sonido y el tacto, sino por el deseo de proveer respuestas tangibles significativas a gestos tales como apretar y doblar, los cuales a su vez se pueden mapear para controlar parámetros musicales tales como densidad tímbrica y la curvatura de altura (pitch bend), respectivamente. Así, aunque no se mapea estrictamente para replicar el comportamiento de un sistema físico existente, el resultado es un controlador que explora lo apropiado de ciertas interacciones tangibles dentro del sonido mismo.


La Enacción en el Contexto del Diseño de Instrumentos Musicales

El estrecho acople entre acción y percepción también ha recibido mucha atención en la filosofía y la psicología, más notablemente en la teoría de la enacción. Mientras que el concepto de enacción tiene una historia rica y diversa, así como definiciones que la desafían (Pasquinelli, 2004), aquí definiremos enacción como el vínculo necesario y estrecho entre acción y percepción.

Las acciones necesitan percepciones concurrentes y consecuentes, y las percepciones guían e informan acciones. Así, el concepto de enacción es inevitablemente dependiente del conocimiento corporal, el tipo de conocimiento que se deriva de estar y actuar en el mundo, con todas sus propiedades y limitaciones físicas. Varela, Thompson y Rosch –que establecieron muchos de los fundamentos de la teoría de la enacción - describieron la relación crucial entre lo corporal y la enacción de la siguiente manera:

A través del término corporeizado (embodied) queremos destacar dos puntos: primero, que la cognición depende del tipo de experiencia que proviene de tener un cuerpo con sus diferentes capacidades sensorial-motoras, y segundo, que estas capacidades sensorial motoras individuales en sí se encuentran insertadas en un contexto biológico, fisiológico y cultural más amplio. Al usar el término acción queremos enfatizar una vez más que los procesos sensorial y motor, la percepción y la acción, fundamentalmente son inseparables en una cognición viva…. el enfoque inactivo consiste de dos puntos: (1) la percepción consiste de acción guiada perceptualmente y (2) las estructuras cognitivas emergen de los patrones sensorial motores recurrentes que permiten que la acción sea guiada por la percepción (Varela et al. 1991).


Lo que nos concierne aquí es, pues, la consideración del conocimiento inactivo en el contexto del diseño de instrumentos musicales, y la manera en que la acción guiada por la percepción define la “sensación” y la ejecutabilidad de un instrumento musical. Esto puede ser cierto en varios niveles: cierto conocimiento a-priori de posibilidades físicas principales (ej. golpeabilidad, soplabilidad, etc.) pueden informar las expectatitvas iniciales, mientras que la experiencia de la interacción con el instrumento resultará en la adquisición del conocimiento tácito sobre cómo ejecutarlo, es decir, la corporeización del conocimiento específico - qué tan rápido mover un arco, la presencia de suficiente resina para controlar su movimiento, etcétera.

Al considerar cómo los conceptos de enacción se relacionan con la ejecución, debemos considerar la pregunta de cómo está construido el modelo operativo de un músico con respecto a la dinámica de un sistema tan complejo como un instrumento musical. Más aún, cómo puede explicarse en términos de enacción, según la definición más amplia de ‘conocer haciendo’ (Bruner, 1968), la capacidad de un músico de predecir el resultado de las acciones que nunca antes ha tenido que producir – un matiz en la ejecución que se produce ad libitum. La teoría de la enacción sugiere que para formar una respuesta a esta pregunta es importante considerar el conocimiento previo de las experiencias sensorial motoras integradas, y su apoyo continuo a través de la interacción repetida.

La configuración física específica de un instrumento musical en última instancia define qué sentidos se involucrarán en la experiencia de tocar un instrumento. Para el ejecutante, absorto en el mundo físico, la pregunta es, entonces: ¿de qué manera una integración específica de percepción sensorial y acción motora, corresponde a la experiencia de una ejecución musical controlable, y hasta disfrutable? Esta es una pregunta difícil de responder, pero proponemos que una primera respuesta práctica es retener la familiaridad de acciones en el mundo físico.

Diseñar nuevos instrumentos en última instancia involucra un cambio en la relación entre acciones ejecutadas y respuestas percibidas de parte del ejecutante y del escucha. El reto está en encontrar maneras de introducir estos cam-bios y al mismo tiempo permitir que persista cierto conocimiento enactivo, es decir, de manera tal que el diseño de instrumentos completamente nuevos continúe siendo informado por el conocimiento de los sistema físicos reales que apoyan la percepción del acoplamiento estrecho entre lo auditivo y lo tangible.

A nuestro enfoque lo hemos denominado la hipótesis de la integración sensorial motora débil. La hipótesis asume que el mundo real soporta cierta cantidad de flexibilidad en el acople entre acción y respuesta sensorial. Ya sea que uno juegue con rocas, agite hojas, o mueva la mano a través del agua, en cada caso hay un acople estrecho entre las acciones ejecutadas y las respuestas táctiles y acústicas a estas acciones. Nuestra suposición de flexibilidad sugiere que, si una serie de acciones se puede agrupar de acuerdo con algún comportamiento físico compartido (agitabilidad, sacudibilidad, etc.), entonces podemos ser capaces de substituir libremente las respuestas sónicas que resultan de las acciones ejecutadas con un material, por respuestas sónicas que resultan de las mismas acciones pero ejecutadas en un material distinto. El poder potencial de este enfoque radica en que las leyes que gobiernan la física del grupo de acciones brindan un apoyo potencial al usuario gracias al conocimiento enactivo adquirido a través de la interacción con propiedades similares de objetos en el mundo real.


Construyendo Instrumentos Enactivos: Diseño por Variación

En el corazón de nuestro diseño de controladores tangibles para una síntesis sonora se encuentra el reconocimiento de que existe una clase de sonidos que son producidos por nuestras acciones sobre objetos en el mundo. Así pues, arrastrar, dejar caer, raspar y aplastar dan surgimiento a eventos táctiles y sonoros correlacionados (Rochesso y Fontana, 2003). Como se observó anteriormente, tales eventos pueden llevar la firma de muchas otras características físicas de los materiales y acciones involucrados. No obstante, es posible imaginar aún otra clase de eventos en donde la sensación del objeto y el sonido que produce están relacionados con menos fuerza – por ejemplo, al jugar con piedrecillas en la mano, la sensación háptica que uno siente es el de las piedrecillas contra la mano, mientras que el sonido de la interacción proviene del choque entre las piedrecillas dentro de la mano. Esta correlación débil entre sensación y sonido es apropiada para esta experiencia, y en su debilidad conlleva la oportunidad de extender el rango de acoples plausibles entre la experiencia háptica y auditiva del evento.

El mecanismo básico que empleamos para lograr esta flexibilidad en el acople entre el sonido y la sensación del instrumento consiste en aprovechar las situaciones en donde este tipo de interacciones tienen un componente acústico –la fricción entre superficies, el choque entre objetos, etc. En nuestros diseños capturamos esta información acústica y la procesamos para derivar parámetros relevantes para un posterior control de modelos alternativos de síntesis sonora. El hecho de que las propiedades físicas de la interfase provean el elemento común que relaciona la clase de sonidos que deseamos controlar asegura que la dinámica de la interacción sea preservada apropiadamente. No obstante, debemos señalar que la elección de sensores acústicos para capturar datos gestuales no es esencial para las ideas que se presentan. Se puede emplear cualquier tecnología sensorial que provea información sobre la dinámica de la interacción. Por ejemplo, se podrían emplear sensores de movimiento, de detección visual de colisión, y otros métodos. En nuestro trabajo enfocamos en el uso de señales acústicas por la sencilla razón de que la señal se relaciona inmediatamente con los parámetros que buscamos, la tecnología de los sensores es de bajo costo y fácil de incorporar, y la substitución de señales sucede exactamente con las características dinámicas que buscamos sin ser influenciadas por la tecnología del sensor. En las secciones que siguen a continuación describiremos en detalle la implementación de varios prototipos de diseños instrumentales. Dos de ellos son para interacciones de colisión de grano grueso, una es para interacciones quebradizas de grano fino, y el ejemplo final se relaciona con interacciones basadas en fricción, tales como frotar algo.

Hemos de señalar aquí que la noción de similitud entre instrumentos musicales con respecto a sus propiedades físicas y musicales es un componente significativo dentro del trabajo de clasificación de instrumentos musicales2. Mientras que los instrumentos musicales tradicionales fueron clasificados de arriba hacia abajo por alguna categoría escogida a priori, el trabajo de Eleschek y Stockmann redirige la atención hacia la descripción detallada de las propiedades de los instrumentos musicales por tantos aspectos como sea posible. Ellos buscan encontrar agrupaciones inspeccionando las propiedades a través de los instrumentos, buscando comprender cuáles cambios de propiedades los hacen similares o esencialmente diferentes. Por lo tanto en vez de seguir una clasificación predeterminada de arriba hacia abajo, se busca una clasificación hacia arriba que emerja de las propiedades descriptivas. (Kartomi, 1990, pp. 198-203). Nuestra propuesta puede entenderse dentro de esta categoría. Nosotros estamos buscando las propiedades emergentes que son comunes dentro de un espacio instrumental. Sin embargo, a diferencia del trabajo de Elschek, enfatizamos aspectos de la percepción y la cognición en la presencia de la acción, y el trabajo está motivado por descubrir las categorías esenciales de similitud en la percepción entre todos los sentidos involucrados.


Variaciones en La Interfase Física

1. PebbleBox

PebbleBox (La Caja de Piedrecillas) es una interfase musical diseñada para síntesis sonora granular. La síntesis granular se hace tangible al proveerle al ejecutante los granos físicos que pueden ser manipulados con la mano. Mientras que el ejecutante puede escoger los granos sonoros a ser usados, el control principal de ejecución está en la estructura temporal y en el contenido dinámico de los granos. De tal manera, los parámetros que buscamos extraer son los de las colisiones temporales de los granos. Buscamos principalmente dos parámetros: la amplitud de la fuerza de la colisión y una medida del tipo de los objetos que colisionaron. El contenido espectral depende de la forma, el tamaño y la posición en la colisión del objeto, y de allí podemos derivar el contenido espectral. Estos parámetros son derivados para cada evento temporal claramente identificado, lo que nos permite obtener además la textura temporal, que es en sí un fuerte indicador en la percepción (Wareen y Verbrugge, 1984).

La caja de piedrecillas consiste de un recipiente forrado de hule espuma que contiene cierta cantidad de objetos no quebradizos. Típicamente utilizamos rocas pulidas del tipo que se usan para decoración en jardinería. La cantidad de rocas que se utiliza debe ser suficiente para cubrir una capa del contenedor. En la figura 1 se muestra una versión de este dispositivo. La interfase soporta un amplio rango de gestos y acciones. Las rocas se pueden agitar o golpear o se puede tomar una sola roca y usarla para golpear las otras. Alternativamente, se puede escoger una cantidad de rocas y arrojarlas en la caja.



Fig. 1 PebbleBox (La caja de piedrecillas)


2. DaGlove

DaGlove (El Guante) es un concepto muy parecido al del PebbleBox. A través de un micrófono montado en el guante se recogen sonidos ambientales. Después el sonido es procesado para detectar disparadores de eventos, los cuales a su vez se usan para sintetizar nuevos sonidos. La diferencia principal es el lugar del sensor con respecto al usuario. En el caso de DaGlove, el micrófono está montado en el área de la palma de un guante sin dedos. De esta manera, el usuario aún puede tener acceso a las propiedades tangibles detalladas de los objetos que está manipulando en el ambiente real, mientras que nos permite capturar el sonido de la interacción para conducir el modelo de síntesis sonora. Para lograr esto, usamos un micrófono inalámbrico que permite al usuario una movilidad libre dentro del rango de la estación base. Con este dispositivo también se pueden ejecutar recipientes con objetos de grano grueso, tales como el PebbleBox, permitiendo así que el locus de la interacción se mueva ininterrumpidamente desde dentro del recipiente hacia una interacción dentro de la mano del usuario. Esto extiende ampliamente el rango de gestos que pueden ser implementados. El diseño completo puede verse en la figura 2.



Fig. 2 DaGlove


3. CrumbleBag

CrumbleBag (La Bolsa Para Desmoronar) es otra interfase musical para síntesis sonora granular. Pero en vez de tratarse de colisiones de objetos no quebradizos, esta interfase hace tangible el comportamiento de objetos quebradizos y deformables. El ejecutante recibe una bolsa llena con granos. Se pueden ejecutar acciones complejas de agarrar creando sonidos al romperse los objetos del interior, así como otros fenómenos sonoros. En este caso también, una manipulación más vigorosa introducirá eventos sonoros más fuertes. Así mismo, la información espectral aportará detalles acerca del mecanismo sonoro. Es por eso que estos parámetros son detectados y hechos disponibles.

Se escogió un material de hule espuma como bolsa exterior, la cual se acolchonó con una capa de fieltro. Se colocó un micrófono dentro de la bolsa. El tamaño de la bolsa es lo suficientemente grande para poder manipularse fácilmente ya sea con una o dos manos. Se usa una bolsa de plástico para contener el material de relleno en sí, la cual se puede reemplazar fácilmente. En nuestra realización consideramos rellenos de cereal, concha de coral y poliestireno. En la figura 3 se muestra la CrumbleBag y materiales de relleno.

Los gestos de ejecución típicos son agarrar y amasar. Por ejemplo, se pueden producir pasos sobre material quebradizo mediante gestos precisos de agarrar. Para detalles adicionales sobre estos diseños, véase O’Modhrain y Essl (2004).



Fig. 3 CrumbleBag (La bolsa Para Desmoronar), con rellenos de cereal, coral y poliestireno


4. Scrubber

La interfase de Scrubber (fregador) se enfoca en los sonidos que resultan de las acciones de deslizar. El deslizamiento es a menudo el resultado de una clase de sonido en particular basada en fricción. Estos sonidos inducidos por fricción usualmente son sostenidos a través del tiempo de la acción y por consiguiente tienen un carácter diferente que el de los sonidos impulsivos y de corto plazo que resultan de las colisiones o las fracturas. Como representantes de un objeto conocido que corresponde a las acciones manuales de deslizar, hemos escogido un borrador para pizarrones blancos, que también tiene un factor de forma conocida comparable a los cepillos, las esponjas y otros objetos que se sujetan con la mano y que utilizan movimientos de deslizar. Este dispositivo se usa entonces en alguna superficie, y la variación de la sensación específica de la acción de deslizar es definida por la superficie. Al igual que con la PebbleBox, las propiedades tangibles de la interacción son aportadas por el contexto del mundo real, en este caso la naturaleza de la superficies que está siendo fregada.

Para esta interfase se le quitó el relleno a un borrador para pizarras blancas, y su interior se substituyó por un relleno de silicón hecho para este propósito, el cual contiene una cavidad con forma de tubo para sujetar el sensor y las partes electrónicas asociadas. Dentro de la cavidad se insertaron dos micrófonos y se fijó una resistencia sensible a la fuerza en la parte inferior del silicón. El núcleo de silicón se envolvió en fieltro y se insertó en la caja del borrador. En la figura 4 se muestra el ensamblaje de la interfase. Las acciones de deslizar constituyen el gesto típico que es producido por esta interfase. Estas acciones pueden ser lentas y regulares, como al acariciar a un gato, o el deslizarse de puertas, o rápido e irregular, como al encender un fósforo. Más detalles sobre el diseño pueden encontrarse en Essl y O’Modhrain (2005).



Fig. 4 El Scrubber (fregador). Nótese que este trabajo no es patrocinado ni representa un respaldo de esta marca particular de borrador


Variaciones del Sonido del Instrumento

Una elección crucial en el diseño de todos estos dispositivos es la abstracción del sonido de una situación física y la posibilidad de reemplazarla por otro sonido. En principio uno podría pensar en muchos medios tecnológicos para detectar el comportamiento físico que sea relevante para los mecanismos sonoros. Nuestra elección de detectar el detalle gestual en una ejecución, por medio del análisis de la señal de audio derivada de la interacción física con la interfase, se basó en la riqueza de los destalles gestuales que se encuentran en la señal de audio que resulta de estas interacciones, y del hecho de que podíamos usar métodos de análisis bien comprendidos para extraer los parámetros resultantes y los gestos de la ejecución. Los parámetros que extraemos se utilizan después para controlar modelos sonoros alternativos.

Además de la ventaja del mapeo cercano al comportamiento dinámico entre el sonido físico y el sonido reemplazado, esto conlleva el beneficio adicional de emplear tecnología de sensores sencilla y de bajo costo, con una interfase apropiada para computadoras comerciales, a través de micrófonos o entradas en línea estándar. La desventaja principal del diseño es que no siempre se puede garantizar que el sonido de los fenómenos físicos de interés venga separado de otros sonidos del ambiente. En términos prácticos esto no resultó ser un mayor problema, pues a través de decisiones sencillas en el diseño se pudo minimizar la injerencia potencial de otras fuentes sonoras en la señal.

El uso de una señal de audio como medio para diseñar nuevas interfases de expresión musical tiene una larga historia. Oliveros ha utilizado procesamiento de audio en vivo en sus conciertos durante décadas. Su Sistema Expandido Instrumental provee control sobre los tiempos de retraso (delay), retroalimentación al retraso, transformación de altura (pitch), y otras características a través de procesamiento de audio en tiempo real (para una reseña reciente de esta tecnología, véase Gramper y Oliveros, 1998). Muchos avances tecnológicos fueron inspirados por este deseo de usar la señal de audio para derivar parámetros de control con los cuales manipular sonido. Por ejemplo, la clásica ponencia de Puckette, Apel y Zicarelli (1998) fue una piedra angular que permitió un objeto de procesamiento ampliamente accesible para el PD y el Max/MSP.

El trabajo de Ciufo (2003), y Jehan y Schoner (2001) son ejemplos recientes de esta continua línea de investigación. Ciufo enfatiza el análisis de audio que enfoca en los cam-bios tímbricos a través del tiempo y los incorpora en la ejecución híbrida de instrumentos físicos (por ejemplo, guitarra eléctrica preparada), y una computadora que analiza el flujo de audio. Jehan y Schoner también enfocan en la extracción tímbrica, pero para ello proponen algoritmos informados por la percepción.

Nuestro trabajo difiere de esta línea de investigación en el sentido de que utilizamos características extraídas del flujo de audio exclusivamente como parámetros de control para un sonido completamente ajeno, y en que enfatizamos las características temporales de las interacciones. De hecho, los sensores que captan los parámetros de interacción podrían reemplazarse por sensores no acústicos, sin afectar el principio. Para nosotros, utilizar una señal de audio es una manera tecnológicamente fácil y viable de resolver esta cuestión.


1. Detección de Eventos Sónicos

El proceso de derivar parámetros de control relevantes comienza con un modelo de sonidos característicos creado mediante el control de objetos. Una vez que se fijan las características se desarrolla un método para extraer los parámetros utilizando técnicas de procesamiento de señal.

Las interfases PebbleBox y CrumbleBag, se enfocan en los llamados sonidos granulares. Estos son sonidos impulsivos por naturaleza, y por consiguiente se caracterizan por una entrada (onset) rápida y una caída (decay) exponencial bastante rápida. El Scrubber se enfoca en sonidos de fricción cuya naturaleza es usualmente sostenida. Estos sonidos se caracterizan por un volumen sostenido entre el inicio y el fin de la acción. La entrada no es necesariamente rápida, ni tampoco lo es la salida. Estos son dos requerimientos diferentes y por consiguiente es necesario definir diferentes estrategias para extraer parámetros de control. No obstante, en ambos casos nuestro enfoque se basa en prestar atención a las características del envolvente total para la detección de eventos, a partir de allí se promedia la señal en una ventana corta, para generar la envolvente. Las entradas son excepciones a esto; se detectan inmediatamente a partir de la señal para eliminar la latencia impuesta por una ventana promediante.

El trabajo de extracción de parámetros en el caso de sonidos granulares está en encontrar el momento de la entrada y su amplitud, y reforzar la separación entre los rasgos oscilatorios y las entradas. El momento de entrada se encuentra mediante un procedimiento de determinación de umbral (ver figura 5), se apunta un evento granular y luego se encuentra el siguiente máximo local. Para rechazar otros picos que se encuentren dentro del tiempo en el cual el oído puede discernir eventos separados en el dominio del tiempo, se descartan los picos posteriores durante una duración especificada dr (ver figura 5). La transición entre el escucha temporal y el espectral ocurre entre las frecuencias 10-20 Hz, o alternativamente para un rango temporal de 0.05-0.1 segundos. La duración es escogida para rechazar características de frecuencia y aceptar eventos que se perciban temporalmente. Esto es motivado por nuestro deseo de capturar aquellos indicios que agrupan sonidos en la percepción dentro del dominio temporal, tal como fue descubierto por Warren y Verbrugge (1984). Otro esquema de umbral relacionado ha sido usado en una señal compuesta espectralmente, tal como lo han propuesto originalmente Puckette y sus colegas (1998). También se deriva otro parámetro a partir de la señal. Se calculan los pases por cero después de la entrada, para un número predefinido de muestras, dando una estimación de la información espectral. Se sabe que los pases por cero se correlacionan con el centroide espectral, que es el centro de gravedad espectral (Peeters y Rodet, 2002; Pangiotakis y Tziritas, 2004). Dada la fidelidad del micrófono utilizado, encontramos que el ran-go dinámico de la amplitud que es extraída de la señal del micrófono no era un factor confinante. Aunque el paso por cero es solamente una medida espectral aproximada, nos aportó un correlativo obvio entre la dinámica original y el nuevo sonido. Los ejecutantes solamente comentaron sobre la latencia percibida que teníamos en el sistema en sus primeras implementaciones, debido a las limitaciones del equipo para procesar el sonido. Una tarjeta de sonido externa de baja latencia nos ayudó a resolver este problema.



Fig. 5 Esquema de granificación basado en un umbral. La curva muestra un envolvente de amplitud de un evento. dr es el retraso del re-disparador, que evita la detección de nuevas entradas

El momento de la entrada de los segmentos sostenidos de sonidos de fricción se encontró de la misma manera que antes. Un umbral define cuándo comienza el evento, pero en vez de encontrar una amplitud pico individual, extrajimos un envolvente de amplitud continua, el cual describe la evolución dinámica de un sonido sostenido. Cuando el envolvente cae nuevamente por debajo del umbral, se asume que el evento ha concluido, y la duración entre estos dos puntos nos da el tiempo del evento (ver figura 6). Aquí también, se cuentan los pases por cero dentro de una ventana de movimiento de tamaño fijo para dar un correlativo de la información espectral. Además, si se utilizan dos canales (o sea, dos micrófonos), el retraso entre canales y entre las dos entradas puede usarse para estimar la velocidad y la dirección del movimiento del fregador.



Fig. 6 El esquema de granificación basado en un umbral. La curva muestra la envolvente de amplitud para un evento. dr es la duración del evento sobre un umbral determinado


Extraemos dos tipos de características: la dinámica temporal y el contenido espectral. Los métodos que empleamos para extraer la dinámica temporal son bastante sencillos y bien conocidos. Estas son las propiedades sobresalientes que más nos interesaron para determinar la dinámica de la interacción, y están inspiradas por la importancia de las características temporales de la agrupación percibida, tal como lo descubrieron Warren y Verbrugge (1984). La información espectral es en cierto sentido una información adicional útil y accesible. Encontramos que los pases por cero eran suficientes, así como eficientes, para nuestro propósito. Hubiera sido posible extraer información espectral más detallada (ver Puckette, Apel y Zicarelli, 1998; Ciufo, 2003). Los métodos más sofisticados usualmente son más demandantes para las computadoras e introducirían un potencial retraso adicional, en el caso de que se requirieran ventanas de transformación Fourier más grandes para lograr una resolución espectral más fina.


2. Síntesis de Respuesta Sonora

Dependiendo de cuál de los paradigmas de control descritos anteriormente se esté utilizando, esperaríamos uno de dos conjuntos de parámetros de control. Para los eventos granulares detectamos tiempo de entrada, amplitud de pico, y contenido espectral. Para los eventos de fricción detectamos tiempo de entrada, envolvente de amplitud temporal, tiempo de salida (offset) y contenido espectral. Cómo se utilizan estos parámetros en principio es algo abierto, y de hecho podrían ser usados de maneras completamente disociadas de su significado original. Sin embargo, nuestro propósito es variar las respuestas sonoras de las interacciones físicas en donde las características generales de los sonidos son comparables, pero cuyos detalles se han variado. De aquí que en general procuremos algoritmos de síntesis que toman los parámetros detectados y los resintetizan de manera comparable. Por consiguiente, el tiempo de entrada deber conducir a la entrada de un evento sonoro, el pico y el envolvente de amplitud deberán controlar el pico y el envolvente del sonido resultante, y el contenido espectral deberá crear una variación espectral significativa en el sonido resultante. De esta manera, nos aseguramos que todas las sutilezas de los gestos utilizados al manipular los objetos de la interfase sean retenidos y canalizados para controlar el flujo de audio sintetizado.

Por consiguiente hemos definido cierta estrategia central de mapeo que tratamos de implementar en cualquier método de síntesis usado en particular, tal como lo hemos descrito, la cual depende de encontrar comportamientos físicamente relacionados que tengan firmas gestuales comunes. Esto reduce en mucho el problema genérico, al diseñar nuevas interfases para expresión musical, de relacionar parámetros sensoriales a parámetros de síntesis, conocido como problema de mapeo (Rovan, Wanderley, Dubnov y Depalle, 1997; Hunt, Wanderley y Kirk, 2000; Hunt, Wanderley y Paradis, 2002).

Sin embargo, la técnica de síntesis sonora específica que hemos usado para cada mapeo continúa abierta. Hemos tratado dos soluciones, una basada en reproducir síntesis de tabla de ondas (wavetable) utilizando la manipulación básica de la tabla, la otra es de la clase de modelos paramétricos informados físicamente, tales como los que desarrolló Perry Cook, y que se encuentran disponibles como parte de las herramientas de síntesis STK (Cook, 1997, 1999, 2002); para una discusión más extendida sobre la conexión del segundo con el modelo, ver O’Modhrain y Essl, 2004; Essl y O’Modhrain, 2005). Aquí nos enfocaremos en examinar el método basado en tabla de ondas.

La idea principal consiste en extraer la dinámica temporal de una interacción. Esta información usualmente se relaciona con aspectos específicos de un escenario físico, por ejemplo la colisión de objetos para interacciones granulares o el envolvente de amplitud del sonido de fricción en el caso de interacciones de fricción. Esta información dinámica se puede usar después para implementar la síntesis de sonidos nuevos arbitrarios, al mismo tiempo que se retienen las propiedades dinámicas de la interacción original.

Para el caso granular, se trata de cualquiera de una cantidad de sonidos impulsivos de corta vida, que correspondan a un momento corto de entrada específico que induce energía. Los ejemplos que hemos tratado incluyen colecciones de monedas, cubos de hielo, latas aplastadas, y gotas de agua. Por otro lado, los sonidos de fricción se caracterizan por los cambios sutiles en el contenido de su espectro a través del tiempo. Ejemplos de este tipo de sonidos que hemos implementado incluyen puertas deslizantes, cuerdas tocadas con arcos, y objetos que se deslizan a través de una mesa.

Mientras que estos representan comportamientos de sonido muy diferentes, el mecanismo básico de la reproducción de una tabla de onda es la misma: en la entrada, se inicia la reproducción de una tabla de onda, el volumen general o su evolución, es controlado por el parámetro de control. En el caso del sonido granular, el final de la reproducción es definido naturalmente por la longitud del grano sonoro, y no requiere más control. En el caso del sonido sostenido, el final es definido por el momento de la salida, y la reproducción tiene que continuar hasta ese punto. Finalmente, en ambos casos, la información sobre el contenido espectral tiene que usarse para modificar el sonido. Así como el pase por cero es un correlativo del centroide espectral, el cual es a su vez describe la ubicación general del contenido espectral, se puede ver como algo que describe qué tan alto o qué tan bajo se percibe un sonido. De esta manera, podemos vincular esto a la reproducción de un grano en un tono más alto o más bajo. La variabilidad de las frecuencias detectadas en los diferentes eventos, junto con los cambios de amplitud es usualmente suficiente para hacer que la reproducción parezca bastante natural en el caso de los sonidos granulares, aún si sólo se utiliza una instancia grabada para la síntesis de tabla de onda. En el caso de sonidos sostenidos, la repetición de las características temporales cambiantes en el sonido tiende a hacer más perceptible la repetición. Para resolver la potencial fatiga auditiva, se usa cierta cantidad de eventos y su reproducción se selecciona aleatoriamente, de tal suerte que se reemplace un grano con un diccionario de granos del cual se escoge uno por cada evento. En nuestra implementación utilizamos hasta doce granos diferentes, aunque el número típico fue alrededor de cinco.

El proceso completo en el caso de los sonidos granulares y los sonidos de fricción se puede ver en las figuras 7 y 8. La figura 7 muestra el resultado de la PebbleBox, mientras que la figura 8 muestra la señal del Scrubber. La señal superior muestra la lectura de un micrófono de un solo canal, colocado dentro de su dispositivo respectivo. La señal inferior describe la síntesis resultante de los parámetros extraídos de la señal superior. Uno puede ver claramente la correspondencia general a grandes rasgos entre las señales, pero la diferencia en los detalles es bastante significativa. En el caso granular en la figura 7, se escogió el grano de un martillo que tenía un tiempo de resonancia bastante largo. De aquí que el envolvente de amplitud después de la entrada es mucho más prolongado. Pero nótese que la distribución temporal de eventos que exceden el umbral, descrito en la parte superior de la figura, es el mismo; también la amplitud es comparable. La correspondencia del comportamiento espectral no se puede ver en la figura 7.

La situación es similar en el caso de la señal del Scrubber en la figura 8. Las características temporales y de amplitud aproximada son comparables en ambas señales. Aquí se emparejan ambas entradas y salidas definidas por la señal. Nótese cómo difieren los envolventes de amplitud específica, puesto que la grabación de sonido escogida para una reinterpretación en resíntesis tiene su propio envolvente un tanto diferente, el cual se sobrepone al envolvente extraído del original.



Fig. 7 Señal grabada del PebbleBox (arriba), y la respuesta granular utilizando un grano de martillo del proceso granular completo (abajo)


Dentro de estas limitaciones técnicas, la metodología sugerida mantiene un espacio abierto para componer el sonido del instrumento. Por ejemplo, en el PebbleBox y Daglove se pueden componer sonidos que de alguna manera se parecen al comportamiento granular. Por consiguiente, la sensación particular del dispositivo es abierto, a pesar de las limitaciones sugeridas, y el compositor o ejecutante puede escoger las cualidades deseables de sonido dentro de este espacio. Puesto que se puede emplear cualquier método arbitrario de síntesis en tiempo real, ya sea reproducción de una tabla de onda o un algoritmo de síntesis paramétrica, los ejecutantes pueden lograr una amplia gama de respuestas sonoras. Ya que el sensor está desacoplado de la reproducción, no impacta las cualidades del sonido reproducido, sino que solamente controla sus características temporales.



Fig. 8 Señal grabada del Scrubber (arriba) y respuesta frictitificada usando una muestra de una puerta deslizante de un garaje (abajo) del proceso completo de frictificación

Podemos ver que la función principal del cambio de contenido del PebbleBox, o de material de relleno en el CrumbleBag es una manera de componer la experiencia táctil de la interfase, aunque esta elección también tiene un impacto sobre la ejecución sónica de la interfase, al influenciar qué patrones temporales uno observará, o qué información espectral estará presente. Por ejemplo, al romperse las hojuelas de maíz surge una dinámica diferente al del relleno de poliestireno, y en este sentido, la elección de material puede usarse para modificar el instrumento en torno a una intención artística específica.


Gesto y Ejecución

En todas las interfases descritas, el tema común importante es que se ha tomado un escenario físico específico y después se ha sometido a variación. Estas variaciones pueden ser táctiles o sónicas. No obstante, los gestos que se pueden pensar con un instrumento específico continúan siendo un tema común al instrumento en particular, y son mediados por la situación física escogida inicialmente como punto de partida. Para concretar esto, la PebbleBox se diseñó de manera que permitiera la ejecución de sonidos que viven en analogía con conjuntos de objetos de grano grueso que se involucran en colisión dinámica. La interfase tangible es de hecho una colección de objetos de grano grueso y los parámetros captados son la dinámica temporal entre las colisiones de estos objetos. De aquí que los tipos de gestos posibles y significativos son exactamente aquellos que conducen a las colisiones de estos objetos. Considerando estas restricciones, el ejecutante tiene la libertad de escoger el estilo de ejecución y los gestos. La PebbleBox en particular, ha sido utilizada por muchos ejecutantes en demostraciones en Media Lab Europa, y en los Laboratorios de Deutsche Telekom. Pudimos observar que los ejecutantes escogieron varios gestos en común.

Los gestos más prominentes eran gestos de revolver, que iban desde gestos de extraer cucharadas hasta gestos de acariciar. También eran populares los gestos de verter. Se tomaba una cantidad de piedrecillas y se dejaban caer a la caja. Algunos ejecutantes escogieron una piedra para golpear otras piedras y así tener un control individual sobre la respuesta sónica. Otros prefirieron escoger dos piedras con el mismo propósito. Mientras que la mayoría de los ejecutantes ejecutó el comportamiento complejo del conjunto sugerido por la cantidad de piedras, otros escogían rocas específicas para ejecutar patrones rítmicos específicos. Muchos ejecutantes no comprendieron la implementación técnica a través del canal de audio, mientras que otros descubrieron este hecho y lo explotaron gritando en la caja o golpeando las piedras contra la parte exterior de la caja para lograr estilos de ejecución adicionales3.


Conclusiones

Los instrumentos musicales descritos aquí ilustran una filosofía de diseño. En su núcleo se encuentra el mantener las experiencias sensorial motoras en situaciones interactivas que corresponden a fenómenos musicales. La flexibilidad del diseño es introducido gracias a la variación permitida en las sensaciones y particularidades de las acciones motoras de la situación. Es decir, fijamos un escenario general y variamos el detalle. Los resultados de esta filosofía de diseño son instrumentos que funcionan bien dentro de clases específicas de interacciones y sus respuestas sonoras. Los dos tipos de escenarios que hemos escogido para ilustrar esto consistieron en sonido impulsivo de corta duración que resulta de colisiones o fractura o eventos sónicos relacionados de corta duración, y escenarios en donde el sonido se sostiene, usualmente asociados a la fricción. Estos escenarios se asocian con expectativas táctiles que son cumplidas al proveer una interfase física que brinda una situación táctil que corresponde con la clase de interacción modelada.

Sin embargo, nos encontramos aún al comienzo de nuestra comprensión de cuándo una experiencia sensorial motora es natural y creíble para un ejecutante. Aún no sabemos qué perturbaciones particulares de los elementos percibidos disponibles a los diferentes canales sensoriales son permisibles, o de qué manera la acción motora tiene que corresponder a una experiencia previa de una respuesta sónica. Esto crea un fuerte contraste con la experiencia intrincada y afinada de ejecutantes expertos de instrumentos musicales establecidos. Estas experiencias individuales no han sido entendidas lo suficiente como para conducir a amplios principios de diseño.

La observación casual indica que el principio general de integración sensorial motora sobre el cual están basados nuestros diseños funciona bien para un rango de variaciones en sonido. Estas observaciones provienen de demostraciones individuales repetidas de visitantes al Media Lab Europa en Dublín durante el año 2004. Una versión más grande del PebbleBox fue preparada para la exhibición Touch Me en el Museo Victoria & Albert, y fue utilizada por visitantes durante el verano de 2005.

Finalmente, esperamos que este trabajo de exploración nos ayude a definir algunos principios de diseño de controladores con base física para clases de instrumentos musicales tangibles que incorporen las nociones de Cadoz de un gesto instrumental, y que al mismo tiempo sean flexibles y se puedan extender para una gama más amplia de mapeos inspirados físicamente entre tacto y sonido.

 

Referencias __________________


Bruner J, 1968. Processes of Cognitive Growth: Infancy. Clark University Press (Worcester, USA).

Cadoz C, 1988. ‘Instrumental gesture and musical composition’. Proceedings of the International Computer Music Conference -ICMC-88, Cologne. ICMAPress (San Francisco, USA): 1–12.

Cadoz C and Wanderley M, 2000. ‘Gesture – music’. En Battier M and Wanderley M (eds.), Trends in Gestural Control of Music. Editions IRCAM (Paris, France): 71–93.

Cannon C, Hughes S, and O’Modhrain S, 2003. EpipE: ‘exploration of the uilleann pipes as a potential controller for computer-based music’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2003, Montreal: 3–8. http://www.music.mcgill.ca/musictech/nime/onlineproceedings/Papers/NIME03_Cannon.pdf. Fecha de acceso: 8/7/2010.

Ciufo T, 2003. ‘Design concepts and control strategies for interactive improvisational music systems’. Proceedings of MAXIS, Leeds, UK: Sheffield Hallam University. Also available online: http://www.ciufo.org/media/design_concepts.pdf. Accessed: 14/4/2010.

Cook P R, 1997. ‘Physically Informed Sonic Modeling (PhISM): synthesis of percussive sounds’. Computer Music Journal 21(3): 38–49.

Cook P R, 1999. ‘Toward physically-informed parametric synthesis of sound effects’. Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA-99), New Paltz: pp. 1–5.

Cook P R, 2001. ‘Principles for designing computer music controllers’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2003, Seattle, USA. http://www.nime.org/2001/papers/cook.pdf. Fecha de acceso: 8/7/2010.

Cook P R, 2002. Real Sound Synthesis for Interactive Applications. A. K. Peters, Ltd (Natick, USA): Chapter 13, 149–68.

Cook P R and Leider C, 2000. ‘SqueezeVox: a new controller for vocal synthesis models’. Proceedings of the 2000 International Computer Music Conference, Berlin.

Essl G, Magnusson C, Eriksson J and O’Modhrain S, 2005. ‘Towards evaluation of performance, control and preference in physical and virtual sensorimotor integration’. Proceedeings of the 2nd International Conference on Enactive Interfaces, Genova, Italy. Ver también: http://www.eecs.umich.edu/~gessl/georg_papers/ENACTIVE05_PebbleBox.pdf. Fecha de acceso: 8/7/2010.

Essl G, and O’Modhrain S, 2005. ‘Scrubber: an interface for friction-induced sounds’. Proceedings of the International Conference on New Interfaces for Musical Expression,2005, Vancouver, Canada: 70–5. http://www.nime.org/2005/proc/nime2005_070.pdf. Fecha de acceso: 8/7/2010.

Fels S S and Vogt F, 2002. ‘Tooka: explorations of two person instruments’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2002, Dublin, Ireland: 116–21. http://www.nime.org/2002/proceedings/paper/fels.pdf. Fecha de acceso: 8/7/2010.

Gamper D and Oliveros P, 1998. ‘The Expanded Instrument System: recent developments’. Proceedings of the 1998 International Computer Music Conference, Ann Arbor. ICMAPress (San Francisco, USA).

Gillespie R B, 1996. ‘Haptic Displays of Systems with Changing Kinematic Constraints: The Virtual Piano Action’. Ph.D. thesis, Stanford University (Stanford, USA).

Hunt A, Wanderley M M and Kirk R, 2000. ‘Towards a model for instrumental mapping in expert musical interaction’. Proceedings of the 1998 International Computer Music Conference, Berlin. ICMAPress (San Francisco, USA): 209–12.

Hunt, A, Wanderley M M and Paradis M, 2002. ‘The importance of parameter mapping in electronic instrument design’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2002, Dublin, Ireland: 149–54. http://www.nime.org/2002/proceedings/paper/hunt.pdf. Fecha de acceso: 8/7/2010.

Ishii H and Ullmer B, 1997. ‘Tangible bits: towards seamless interfaces between people, bits and atoms’. Proceedings of CHI’97, Atlanta, USA. Association of Computing Machinery.

Jehan T and Schoner B, 2001. ‘An audio-driven, spectral analysis-based, perceptual synthesis engine’. Proceedings of the 110th AES Convention. Amsterdam, The Netherlands. Audio Engineering Society.

Jordà S, 2005. Digital Luthery: Crafting Musical Computers for New Musics, Performance, and Improvisation. Ph.D. dissertation, Universidad Pompeu Fabra (Barcelona).

Kartomi M J, 1990. On Concepts and Classifications of Musical Instruments. The University of Chicago Press (Chicago, USA).

Machover T, 1992. ‘Hyperinstruments – a composer’s approach to the evolution of intelligent musical instruments’. En Jacobson L (ed.), Cyberarts: Exploring Arts and Technology. Miller Freeman Inc. (San Francisco): 67–76.

Moore F R, 1988. ‘The dysfunctions of MIDI’. Computer Music Journal 12(1): 19–28.

Nichols R, 2002. ‘The vBow: development of a virtual violin bow haptic human-computer interface’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2002, Dublin, Ireland: pp. 29–32. http://www.nime.org/2002/proceedings/paper/nichols.pdf. Fecha de acceso: 8/7/2010.

O’Modhrain S, 2000. Playing by Feel: Incorporating Haptic Feedback into Computer-Based Musical Instruments. Ph.D. thesis. Stanford University (Palo Alto, California).

O’Modhrain S and Essl G, 2004. ‘PebbleBox and CrumbleBag: tactile interfaces for granular synthesis’.

Proceedings of the International Conference on New Interfaces for Musical Expression, 2004, Hamamatsu, Japan: 74–9. http://www.nime.org/2004/NIME04/paper/NIME04_2A02.pdf. Fecha de acceso: 8/7/2010.

Orio N, Schnell N and Wanderley M M, 2001. ‘Input devices for musical expression: borrowing tools from HCI’. Proceedings of the International Conference on New Interfaces for Musical Expression,2001, Seattle, USA. http://www.nime.org/2001/papers/orio.pdf. Fecha de acceso: 8/7/2010.

Panagiotakis C, and Tziritas G, 2004. A speech/music discriminator based on RMS and zero-crossings. http://www.csd.uch.gr/~tziritas/papers/sound_seg_class_00.pdf. Fecha de acceso: 20/1/2010.

Pasquinelli E, 2004. Enaction. A State of the Art. Unpublished manuscript.

Peeters G and Rodet X, 2002. ‘Automatically selecting signal descriptors for sound classification’. Proceedings of the 1998 International Computer Music Conference, Göteborg. ICMAPress (San Francisco, USA): 455–8.

Puckette M S, Apel T and Zicarelli D D, 1998. ‘Realtime audio analysis tools for Pd and MSP’. Proceedings of the 1998 International Computer Music Conference, Ann Arbor. ICMAPress (San Francisco, USA).

Rocchesso D and Fontana F (eds.), 2003. ‘The Sounding Object. PHASAR Srl, Florence, Italy, 2003. Ver también: http://www.soundobject.org/SObBook/SObBook_JUL03.pdf. Fecha de acceso: 8/7/2010.

Rovan J B and Hayward V, 2000. ‘Typology of tactile sounds and their synthesis in gesture-driven computer music performance’. En Battier M and Wanderley M (eds.), Trends in Gestural Control of Music. Editions IRCAM (Paris, France): 389–405.

Rovan J B, Wanderley M M, Dubnov S and Depalle P, 1997. ‘Instrumental gestural mapping strategies as expres- sivity determinants in computer music performance’. Proceedings of Kansei – The Technology of Emotion Workshop, Genova, Italy. Ver también: http://www.ircam.fr/equipes/analyse-synthese/wanderle/Gestes/Externe/kansei_final.pdf. Fecha de acceso: 8/7/2010.

Ryan J, 1991. ‘Some remarks on musical instrument design at STEIM’. Contemporary Music Review 6(1): 3–17.

Singer E, 2003. ‘Sonic Banana: a novel bend-sensorbased MIDI controller’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2003, Montreal, Canada: 220-1. http://www.music.mcgill.ca/musictech/nime/onlineproceedings/Papers/NIME03_Singer.pdf. Fecha de acceso: 8/7/2010.

Varela F, Thompson E and Rosch E, 1991. The Embodied Mind. MIT Press (Cambridge, USA).

Vertegaal R, Ungvary T and Kieslinger M, 1996. ‘Towards a Musician’s Cockpit: Transducer, Feedback and Musical Function’. Proceedings of the 1996 International Computer Music Conference. San Francisco. ICMAPress (San Francisco, USA): 308–311.

Wanderley M M, [n.d.]. ‘Gestural control of music’. International Workshop on Human Supervision and Control in Engineering and Music. Kassel, Germany. Ver también: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.137.9460&rep=rep1&type=pdf. Fecha de acceso: 8/7/2010.

Warren W H and Verbrugge R R, 1984. ‘Auditory perception of breaking and bouncing events: a case study in ecological acoustics’. Journal of Experimental Psychology 10(5): 704–12.

Weinberg G and Gan S L, 2001. ‘The Squeezables: toward an expressive and interdependent multi-player musical instrument’. Computer Music Journal 25(2): 37–45.

Wessel D and Wright M, 2002. ‘Problems and prospects for intimate musical control of computers’. Computer Music Journal 26(3): 11–22.

Young D, 2002. ‘The Hyperbow controller: real-time dynamics measurement of violin performance’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2002, Dublin, Ireland: 65–70. http://www.nime.org/2002/proceedings/paper/young.pdf. Fecha de acceso: 8/7/2010.

Young D and Essl G, 2003. ‘HyperPuja: a Tibetan singing bowl controller’. Proceedings of the International Conference on New Interfaces for Musical Expression, 2003, Montreal, Canada: 9–14. http://www.music.mcgill.ca/musictech/nime/onlineproceedings/Papers/NIME03_YoungEssl.pdf. Fecha de acceso: 8/7/2010.

_____________________________

1 Publicado originalmente en inglés: Essl G and O’Modhrain S, 2006. ‘An enactive approach to the design of new tangible musical instruments’. Organised Sound 11(3): 285-296, © Cambridge University Press. La traducción e inclusión en este número se han llevado a cabo con el permiso de los autores y de Cambridge University Press. Traducido al español por Kavindu (Alejandro Velasco).

2 La historia de las categorizaciones propuestas ha sido reseñada cabalmente por Kartomi (1990).

3 Desde que se escribió este texto hemos investigado el espacio de variabilidad sónica en entornos experimentales más formalizados. Los primeros resultados relacionados con aspectos tales como qué tango gusta, o su credibilidad, y el sentido de control del PebbleBox en relación con otros dispositivos, ej. un dispositivo Phantom, se puede encontrar en Essl, Magnusson, Eriksson y O’Modhrain (2005).

Hay 1 comentarios


Suscriptor/suscriber
2009-01-09 12:51:17
mi comentario



Agregar un comentario
Comentario/Comment: