Capter le style des musiciens et le réutiliser pour générer un accompagnement réactif en temps réel.
Modélisation du style · Accompagnement interactif
VirtualBand sur All the Things You Are
Présentation
VirtualBand est un système d’interaction musicale fondé sur la modélisation du style. Il capte les éléments essentiels du style d’un musicien, en solo ou en accompagnement, pour les réutiliser dans l’improvisation.
VirtualBand comporte une phase d’enregistrement puis une phase de jeu. Des musiciens sont enregistrés selon une procédure précise, avec des consignes qui couvrent un vaste ensemble de situations musicales et de transitions. Le traitement du signal, principalement issu de la recherche d’information musicale, permet ensuite de constituer une base de style.
Pendant le jeu, l’utilisateur, par exemple un saxophoniste, choisit un morceau et des musiciens virtuels : batteur, guitariste ou bassiste. Le générateur exploite leurs bases de style pour produire une musique conforme à la structure harmonique et métrique du morceau. VirtualBand écoute aussi le soliste, analyse le volume, la densité des notes et les hauteurs, puis réagit en temps réel. Si le soliste joue plus fort, le système peut choisir des passages plus forts ou plus denses.
Reflexive VirtualBand
Reflexive VirtualBand est une évolution de VirtualBand.
L’idée est de capter à la volée les éléments essentiels du style du musicien et de les réutiliser dans l’interaction en temps réel. Le musicien peut ainsi former un duo ou un trio avec des représentations virtuelles de lui-même, sans avoir à enseigner son style au système au préalable.
Articles
Un exemple antérieur d’accompagnement interactif est Ringomatic · PDF (ISMIR 2005), présenté en duo avec un pianiste.
VirtualBand: Interacting with Stylistically Consistent Agents
(ISMIR 2013) · PDF
Capturing a Musician’s Groove: Generation of Realistic Accompaniments from Single Song Recordings
(IJCAI 2015) · PDF
Giant Steps in Jazz Practice with the Social Virtual Band
(2015) · PDF
Do Jazz Improvisers Really Interact? The Score Effect in Collective Jazz Improvisation
(Routledge, 2017) · PDF
Travaux associés sur la génération de solos bebop :
Musical Virtuosity and Creativity
(2012) · PDF
Chapitre Springer · Projet Virtuoso
Les vidéos ci-dessous montrent les possibilités de VirtualBand, dans le jazz et au-delà.
Mark d’Inverno joue « Solar » avec Reflexive VirtualBand (YouTube).
Reflexive VirtualBand joue un blues
Virtual Band en funk
VirtualBand sur Stella by Starlight
Reflexive VirtualBand sur « Solar »
Mark d’Inverno au piano
Reflexive VirtualBand : Isn’t She Lovely