Comment CueFlip écoute
Une visite illustrée de ce qui se passe entre le moment où un musicien joue et celui où la page se tourne : comment CueFlip entend la musique, retrouve sa place dans la partition, et ce qu'il fait lorsqu'il la perd.
Traduit de l’anglais. Lire l’original
CueFlip est un tourne-page automatique pour iPad et iPhone. La technique qui le sous-tend s'appelle le suivi de partition : écouter une interprétation en direct et savoir à tout instant où l'on en est dans les partitions. Cet article explique comment cela fonctionne, image par image.
Une machine qui écoute
En 1774, les horlogers suisses Pierre Jaquet-Droz, son fils Henri-Louis et Jean-Frédéric Leschot ont présenté The Musician, un automate qui jouait d'un véritable orgue avec ses doigts. Il savait jouer, mais il ne pouvait pas entendre. CueFlip, c'est l'inverse. Il ne joue rien. Il écoute.
Il ne lit pas la notation sur la page. Il apprend comment sonne un morceau précis lorsque vous le jouez, puis il reconnaît ce son pendant que vous jouez.
Apprendre le morceau une fois
Dans Learn, vous jouez le morceau en entier une fois, ou vous importez un enregistrement, et vous marquez les endroits où les pages se tournent. Cet enregistrement sert de référence. Tout le reste consiste à comparer ce que vous jouez maintenant à ce que vous aviez joué alors.
Ce qu'il entend
Un enregistrement contient bien plus que ce qu'il faut pour situer un passage dans un morceau. CueFlip en garde deux choses. La première, ce sont les noms des notes qui sonnent, à chaque instant. Une note compte sous son nom quelle que soit l'octave où elle est jouée ; jouer une octave plus haut ou plus bas devrait donc compter moins. Une autre salle ou un autre instrument peut tout de même influer sur la qualité du suivi de CueFlip.
Chaque trace de l'image est un nom de note suivi pendant une demi-minute de musique : des lettres pour les touches blanches, des points pour les touches noires. Le ruban se tord là où l'harmonie change, et les notes les plus fortes sont dessinées en gras. C'est un dessin de la manière dont un morceau apparaît au moteur, pas l'image d'une partition.
Le quand, autant que le quoi
Les noms de notes disent ce qui sonne. Ils ne disent pas quand quelque chose a commencé. Pour cela, CueFlip découpe le son en bandes, des notes les plus graves jusqu'aux harmoniques les plus brillantes, et surveille chaque bande pour repérer l'instant où quelque chose démarre : un coup d'archet, une corde, un marteau.
Ensemble, les deux lui donnent une brève description de chaque instant de l'interprétation, qu'il peut confronter à la référence.
Retrouver sa place
Vous ne jouerez pas à la vitesse de votre référence. Vous accélérez, vous vous attardez, vous respirez. Le moteur ne compare donc pas les deux instant par instant. Il cherche le meilleur chemin parmi toutes les manières dont les deux peuvent s'aligner, et laisse ce chemin s'infléchir pour suivre votre tempo.
Le chemin n'a pas le droit de divaguer. Sur l'image, la ligne orange est le chemin et les pointillés marquent jusqu'où il peut s'écarter du milieu. Un chemin qui saute dans tous les sens est plus probablement une erreur qu'un musicien.
Quand il perd sa place
La musique se répète. Quand une section revient une seconde fois, elle sonne pareil, et pendant un instant le moteur a deux réponses honnêtes : ici, ou là. Vous savez laquelle est la bonne. Le moteur, lui, doit la deviner.
Il lui arrive de choisir la mauvaise, et la position qu'il indique s'éloigne alors de l'endroit où vous êtes vraiment. Par précaution, CueFlip garde deux lectures de votre position : l'une qui suit l'interprétation de très près, l'autre qui garde tout le morceau en vue et se déplace plus lentement. L'image les dessine comme les deux brins d'une hélice. Quand elles concordent, les brins courent côte à côte. Quand elles divergent, l'hélice s'ouvre.
Dans cet exemple, l'interprétation revient à un passage déjà joué. Pendant un moment, les deux lectures continuent comme si de rien n'était. Celle qui suit de près s'en aperçoit la première et se repositionne. Celle qui surveille tout le morceau se corrige un peu plus tard, et les brins s'enroulent de nouveau ensemble.
C'est la partie la plus difficile du travail, et CueFlip ne s'en sort pas toujours. Quand il n'est pas sûr, il se retient au lieu de tourner la page sur une simple supposition, et vous pouvez toujours tourner la page vous-même.
Tourner la page
Une interprétation ne dure jamais exactement autant que la prise dont vous avez fait l'apprentissage. Dans la dernière image, la ligne de gauche est l'interprétation elle-même, jouée ici plus lentement que la prise apprise, et qui va de haut en bas. La spirale de droite est la partition, enroulée en rouleau. Chaque fine ligne relie un instant de l'interprétation à l'endroit de la partition où le moteur pensait se trouver à ce moment-là.
Les cinq lignes orange sont les tournes de page. Chacune part de l'instant de l'interprétation où CueFlip a tourné la page, et s'achève au point de la prise apprise où vous avez marqué ce tourne de page. CueFlip tourne la page un peu avant que vous n'atteigniez l'endroit marqué dans Learn, afin que la page suivante soit déjà là quand vos yeux en ont besoin.
Où tout cela se passe
Tout cela s'exécute sur votre iPad ou votre iPhone. Le son est analysé pendant que vous jouez et n'est pas envoyé à CueFlip. Il n'y a ni compte ni suivi. Si vous activez la synchronisation iCloud, elle utilise votre propre iCloud.
Voilà toute l'idée : apprendre le morceau une fois, écouter, retrouver la place, tourner la page. Le reste, c'est du soin, et beaucoup de tests avec de vrais musiciens, qui jouent rarement exactement ce qui est écrit.