smb

La Música – Primera aproximación

Hoy vamos a hablar de uno de los temas más interesantes y complejos de resolver al desarrollar un videojuego: la música.

Si te pidieran que tararearas una de las canciones de Star Wars, ¿podrías hacerlo? ¿Qué tal una de Indiana Jones? ¿Harry Potter? ¿Súperman (de las de Cristopher Reeves)? ¿James Bond? ¿Misión Imposible…? Ahora, ¿qué tal si te pidiesen tararear la canción de Tomb Raider? ¿Mass Effect, Halo? ¿Qué tal Sonic? ¿Qué tal Chronno Trigger? ¿Zelda? Seguramente te habrá resultado más fácil recordar los temas de las películas que los de los videojuegos, no sólo porque tendrán más tiempo desde que fueron introducidas a la cultura, sino porque también fueron utilizados con un propósito mucho más deliberado e íntimamente relacionado con la narrativa y con el impacto emocional de una secuencia de escenas desplegadas en la pantalla.

En los videojuegos, la metodología es fundamentalmente diferente. Existe una variable enorme con la que ningún otro medio debe ni ha debido lidiar antes: el jugador; aleatoriedad, opciones para que la persona haga. Si la música permite permite provocar cambios en las emociones y estado anímico de las personas, ¿cómo puede un videojuego incorporarla efectivamente cuando hay un sinnúmero de secuencias lineales que seguir? Tal vez esa condición es la que ha hecho que, a pesar de como dice Jack Wall (el compositor de los primeros Mass Effect) “la música es el personaje invisible. Es la emoción detrás de las acciones del jugador.”, la música sea considerada no fundamental, accesoria, y en algunos casos hasta decorativa en un videojuego. ¿Cómo la haces parte de la historia si no tienes certeza de cómo se va desplegar esa historia?

Por supuesto, mientras más control tengas sobre la linearidad, más efectivamente podrás usar la música, como una película. Red Dead Redemption, por ejemplo, cuyo soundtrack es aún alabado por la crítica y jugadores por igual, tiene una historia bastante lineal en la que la música puede planificarse casi como si fuera un evento cinemático. Cuando el jugador llegue a el punto P, ejecutar tema T. Journey (cuya creadora Kellee Santiago ha dicho que los videojuegos serán, como medio expresivo, más poderosos en el siglo XXI que la radio, el cine y la televisión juntos) en cambio, utiliza la música (así como su ausencia) no sólo de manera muy efectiva para la narración, sino como aspecto fundamental de la experiencia: es el mejor ejemplo de lo que se denomina Música Adaptativa. Ella responde a las acciones del jugador,  al ambiente, a la existencia de otros jugadores on-line y a los “mensajes” con los que el jugador se comunica; sin embargo, al igual que Red Dead Redemption sigue siendo una historia lineal donde puedes, con sus innumerables sutilezas, guiar al jugador hacia un estado emocional.  La pregunta que se me ocurre es, ¿cómo puedes utilizar la música de forma creativa y a la vez efectiva, en un juego como Sticks & Stones, donde la generación aleatoria y el re-juego son esenciales, donde no hay forma de saber cómo avanzará el juego? Es fácil poner una canción encima, con suficiente variedad y longitud para que no se fatigue el jugador, pero ¿podríamos hacer algo más interesante que eso?

¿Qué alternativas tenemos?

Música pre-renderizada.

En la música pre-renderizada, secciones musicales, grabadas a partir de instrumentos musicales reales o virtualizados a través de DAWs (Digital Audio Workstations) son invocadas desde el motor del juego directamente, a través de una interfaz especialmente diseñada para la reproducción de música. En XNA, si quisieramos que sonara cierta canción cuando el jugador crafteara algo interesante, o si quisiéramos que sonara siempre de fondo, haríamos algo como:

protected Song song;
song = Content.Load<Song>("crafting_success");
MediaPlayer.Play(song); 

Simple, ¿no? Sí, pero demasiado simple. Es una manera de incorporar música en XNA, pero no necesariamente la mejor. Por ejemplo, MediaPlayer.Play() permite sólo una instancia a la vez, de modo que cualquier técnica de música adaptativa, (como horizontal re-sequencingvertical re-orchestration, ya hablaremos más adelante de ellas…)  se hace imposible de implementar. Es decir, siempre podremos cambiar una canción por otra (un momento de tensión pasando a uno de relajación) pero no podremos hacerlo sin cambios abruptos ni interrupciones que saquen al jugador de su estado inmersivo. De hecho, una de las consideraciones que surge de aquí es que hace falta pensar en el audio en general en más que sólo su reproducción o como una lista de assets. Hay que pensar en cómo el todo el audio (efectos de sonidos + música) funcionan juntos dentro del juego, no como items discretos, sino continuos, que son ejecutados y modificados de acuerdo a ciertas condiciones.

Por ejemplo: si en Sticks & Stones, Ferguson pudiera conducir un automóvil y acelerara y redujera la velocidad, habría falta de mucho más que sólo un MediaPlayer.Play(engine): habría necesidad de una interfaz que modificara el sonido para cuando aumentaran y descendieran las revoluciones del motor:

Estas interfaces, o middleware, son asociados generalmente con la implementación de efectos de sonidos y de ambiente, pero en realidad están preparadas para resolver por completo las necesidades de audio de un videojuego. Existen tres especialmente populares:

  • XACT (de Microsoft, gratis para uso comercial, relativamente simple de usar pero compatible sólo con plataforms  Windows y Xbox).
  • FMOD (de Firelight Technologies, gratis para uso no comercial).
  • Wwise (de Audikinetic, gratis para uso no comercial).

Para el caso de la música, se podría alternar entre el estado natural del personaje (como cuando Mario explora en Super Mario Bros) y un estado excepcional (cuando agarra una Estrella) sin tener que interrumpir una canción y sustituirla por otra. En cambio, podría aprovecharse uno de los tiempos débiles o un silencio en la canción para hacerle fade-out a una y fade-in a la otra transparentemente.(no es que así se haga en Super Mario Bros., ahí todo se interrumpe, pero por ejemplo…)

Música a partir de Datos Musicales.

MIDI (Musical Instrument Digital Interface) es un protocolo de comunicación a través del cual se pueden enlazar instrumentos musicales electrónicos entre sí y con ordenadores y otros dispositivos, transmitiendo información sobre tono, velocidad, volumen, dinámicas y vibratto de un sonido.  La manera más simple de entender MIDI es como una pianola: la música que es reproducida está limitada por la cantidad de información que puede codificarse en un rollo de papel, y la habilidad del piano para reproducirla.

Un ejemplo inevitable del uso de MIDI en videojuegos es el de iMUSE de LucasArts: utilizado por primera vez en Monkey Island 2: LeChuck’s Revenge, el sistema permitía manipular el contenido de la música directamente dado el estado actual del videojuego. Podía introducir melodías, modificar el tempo, cambiar la instrumentación, transponer claves. Sin embargo, para la última versión del 2013, iMUSE manipulaba la manera en la que música pre-renderizada era utilizada por el motor del videojuego: MIDI, con todas sus ventajas, aún posee inconvenientes considerables: requiere de grandes espacios de memoria para una librería de efectos si se quiere que la música sea suficientemente sofisticada y expresiva, y no puede compararse con la flexibilidad de un entorno completo de mezclado para la obtención y  de resultados de calidad.

¿Y Sticks & Stones entonces?

¡No sabemos! O no lo hemos decidido aún… El contexto habla de un programa de televisión superpuesto sobre entornos naturales. Existe la opción de un sonido ambiental natural, con aves y animales en la distancia rugiendo y cantando cada cierto tiempo, mezclados con el crujir de las hojas de árboles en el viento o bajo los pies de los personajes, o con la aparición imprevisible de elementos de alta tecnología como hologramas, Holo-balls, el cercado eléctrico… También podría diseñarse en los términos estruendosos y sobresaturados de un programa de concursos de televisión, apareciendo para recordarle al jugador del contexto, con un presentador, el Tema del concurso, las señales auditivas diegéticas para los personajes… O más interesante (o peligrosamente), podríamos explorar el concepto de Música Generativa, aprovechando la creación aleatoria del entorno (Perlin Noise + Poisson Disk) para también generar la música que acompaña al jugador. Se ha hecho antes, pero de nuevo, el problema, como con todo lo procedural, recae en la misma pregunta de siempre: de acuerdo, esto es música, pero ¿es acaso música interesante?

Ya iremos avanzando…

Mientras tanto, les dejo con esta versión del que debe ser el tema más intrusivo en la historia de los videojuegos, y que sin embargo, tal vez por nostalgia, todos apreciamos:

 

Leave a Reply

Your email address will not be published. Required fields are marked *