Par François Pachet et Pierre Roy
François Pachet and Pierre Roy. “Hidden Biases in Conditioning Autoregressive Models.” arXiv:2604.07855, 2026.
À propos de l’article
Supposons qu’un modèle doive écrire une ligne finissant par un mot précis. Un décodeur peut imposer cette fin tout en modifiant les probabilités relatives des lignes valides. L’article explique cette distorsion même lorsque le modèle appris reste fixe.
Résumé de l’article
Pour les modèles autorégressifs généraux dont les probabilités du prochain symbole sont calculables efficacement, les auteurs montrent que trouver la séquence complète la plus probable est NP-difficile. Calculer la probabilité exacte d’un événement de conditionnement est #P-difficile, même pour certaines contraintes régulières simples. Ces résultats expliquent pourquoi les méthodes exactes des modèles de Markov finis ne s’étendent pas directement au cas général.
Recherches associées
L’article NeurIPS 2026 sur l’échantillonnage exact montre ce qui est possible avec les modèles de Markov d’ordre variable et les contraintes régulières. Le projet Contraintes de Markov donne accès à l’implémentation et à l’espace d’expérimentation.