The Bag-of-Frames Approach to Audio Pattern Recognition: A Sufficient Model for Urban Soundscapes but Not for Polyphonic Music

Par Jean-Julien Aucouturier, Boris Defreville et François Pachet.

The Journal of the Acoustical Society of America 122(2), 881–891 (2007). DOI: 10.1121/1.2750160.

Lire l’article (PDF) · Version de l’éditeur (DOI)

À propos de l’article

Un modèle « bag-of-frames » décrit un enregistrement par la distribution des caractéristiques spectrales de courtes trames, sans conserver leur ordre. La même mesure de similarité a donné de bien meilleurs résultats sur les paysages sonores urbains testés que sur la musique polyphonique, conduisant à examiner leurs différences de structure.

Résumé original (en anglais)

The “bag-of-frames” approach (BOF) to audio pattern recognition represents signals as the long-term statistical distribution of their local spectral features. This approach has proved nearly optimal for simulating the auditory perception of natural and human environments (or soundscapes), and is also the most predominent paradigm to extract high-level descriptions from music signals. However, recent studies show that, contrary to its application to soundscape signals, BOF only provides limited performance when applied to polyphonic music signals. This paper proposes to explicitly examine the difference between urban soundscapes and polyphonic music with respect to their modeling with the BOF approach. First, the application of the same measure of acoustic similarity on both soundscape and music data sets confirms that the BOF approach can model soundscapes to near-perfect precision, and exhibits none of the limitations observed in the music data set. Second, the modification of this measure by two custom homogeneity transforms reveals critical differences in the temporal and statistical structure of the typical frame distribution of each type of signal. Such differences may explain the uneven performance of BOF algorithms on soundscapes and music signals, and suggest that their human perception rely on cognitive processes of a different nature.

Travaux connexes

The Influence of Polyphony on the Dynamical Modelling of Musical Timbre · PDF (2007), de Jean-Julien Aucouturier et François Pachet, examine les difficultés des modèles temporels avec la polyphonie en comparant notes isolées, notes simultanées et textures longues.

Automatic Recognition of Urban Sound Sources · PDF (AES 2006) décrit la classification des sons urbains, notamment véhicules, oiseaux et voix, à l’aide de descripteurs générés.

Improving Timbre Similarity: How High’s the Sky? étudie les limites d’une approche apparentée de comparaison par le timbre.

Hubness et similarité musicale retrace les recherches sur la présence anormalement fréquente de certains titres dans les listes de voisins.

A Scale-Free Distribution of False Positives for a Large Class of Audio Similarity Measures (2008) examine la récurrence des faux positifs dans les modèles « bag-of-frames ».

The Bag-of-Frames Approach: A Not So Sufficient Model for Urban Soundscapes (2015) reprend l’expérience avec d’autres corpus urbains et constate que le résultat antérieur ne s’y généralise pas.

Retour aux publications