MusicSpace

Tous les projetsNouvelle implémentation

Déplacer les sources sonores en préservant leurs relations spatiales et musicales grâce à des contraintes géométriques.

Audio spatial · Propagation de contraintes

Le workbench MusicSpace : sources de percussion, rotations et contraintes reliées.

Capture originale du workbench MusicSpace, avec ses sources, ses transformations et ses contraintes.

Présentation

MusicSpace utilise des contraintes pour contrôler le mouvement et l’interaction des sources sonores. Lorsqu’une source se déplace, le solveur ajuste les autres pour conserver des relations de distance, d’équilibre ou d’angle.

Lancer la démo MusicSpace

Fonctionnement de la démo web

L’atelier JavaScript permet de déplacer des sources et des auditeurs sur un espace 2D et d’entendre les effets de ces mouvements. Ouvrez un exemple en mode Play, ou utilisez le mode Edit pour créer des contraintes, dessiner des trajectoires et relier les positions à des paramètres audio ou MIDI.

Code source et documentation sur GitHub

Pour un exemple rapide, essayez Play the Relationships pour entendre des commandes d’effets liées, ou Three-Body Gravity pour écouter trois masses en mouvement piloter trois voix Faust.

Version Max/MSP

Une version antérieure de MusicSpace fonctionnait comme objet Java pour Max/MSP. Elle étendait le travail sur la spatialisation au contrôle de données Max/MSP quelconques, notamment les paramètres de synthèse sonore.

Pour des exemples actuels, consultez la galerie de démos et les vidéos de la version web.

Histoire du projet

MusicSpace a été le premier projet d’« écoute active » développé à Sony CSL. Il a commencé en 1998 dans le cadre de la thèse d’Olivier Delerue, dirigée par Jean-François Perrot et coencadrée par Gérard Assayag et François Pachet. Olivier apportait ses idées sur la spatialisation et l’interaction musicales ; François Pachet, les contraintes, dans l’esprit du système ThingLab d’Alan Borning (article PDF). Cette combinaison a permis de représenter autrement les connaissances sur le mixage audio. Un algorithme propageait les modifications des objets dans le graphe de contraintes. Il est décrit dans la notice LIP6 de la thèse d’Olivier Delerue et dans l’article ICMC de 1999 et MusicSpace Goes Audio. Le système a rapidement été reconnu comme innovant en informatique musicale et a reçu le prix du logiciel musical de Bourges en 2000.

Des démonstrations à Jean-Michel Jarre et Peter Gabriel ont suscité des réactions enthousiastes. Nous n’avons cependant pas réussi à mener de grands projets musicaux avec ce système : sa distribution était limitée et il communiquait difficilement avec les autres logiciels. Dix ans plus tard, ses idées nous semblaient toujours novatrices. Nous avons décidé de le distribuer librement en lui apportant deux améliorations majeures.

La première était l’ouverture : MusicSpace est devenu un objet Max, permettant de définir l’interprétation des mouvements des sources. Cela ouvre des usages au-delà de la spatialisation, comme le contrôle de la synthèse. Olivier Delerue a réalisé cette évolution et créé des démonstrations et des exemples pour Max/MSP.

La seconde concernait la résolution des contraintes. L’algorithme a été repensé selon une approche événementielle, remplaçant l’approche récursive d’origine. Le code est devenu plus stable et capable de traiter de nouvelles configurations. Il reste fondé sur la propagation, contrairement aux solveurs qui effectuent une recherche combinatoire dans le produit des domaines des variables, comme BackJava, une implémentation Java de BackTalk, également conçu à Sony CSL. Les solutions sont déterminées pour chaque contrainte sans recherche générale. En présence de cycles, le système vérifie les conflits ; s’il en détecte un, il interrompt l’action initiale avec le message « No Solution Found ». L’algorithme événementiel va toutefois au-delà de la propagation simple et peut essayer plusieurs solutions dans certains cas, comme la configuration « Product and limit ». Cette contribution est due à Pierre Roy, François Pachet et Olivier Delerue.

Articles de recherche

MidiSpace: A Temporal Constraint-Based Music Spatializer · PDF (ACM Multimedia 1998), de François Pachet et Olivier Delerue, décrit le système MIDI d’origine et son modèle de contraintes temporelles.

MusicSpace: A Constraint-Based Control System for Music Spatialization · MusicSpace Goes Audio · Dynamic Audio Mixing · On-the-Fly Multi-Track Mixing

Articles associés