Ce séminaire présente nos recherches sur le papier interactif, une technologie permettant de récupérer les gestes d’écriture effectués sur le papier, pour la composition musicale.

Nous discuterons plusieurs études conduites avec des compositeurs qui explorent les possibilités d’interfaces combinant l’expression sur le papier avec la composition assistée par ordinateur. La conception de telles interfaces est un problème complexe car chaque compositeur suit un processus de création unique et utilise des représentations musicales personnelles.

En s’appuyant sur des sessions de conception participative, nous proposons les Paper Substrates, des composants papier qui définissent des structures modulaires pour l’interaction avec des représentations musicales formelles. Nous avons développé une boîte à outils ainsi qu’une application graphique pour faciliter la création d’interfaces avec des Paper Substrates et les lier avec les logiciels de composition assistée par ordinateur.

Nous décrirons plusieurs applications permettant la saisie de partition, le dessin dans des réseaux de notes ou l’utilisation d’éléments papier amovibles pour la création musicale. Parmi les applications, nous avons développé et utilisé Polyphony, une interface qui intègre le papier interactif avec d’autres interfaces, pour conduire une étude d’observation structurée avec 12 compositeurs. L’étude a permis de comparer les différents processus de composition des participants. Nous montrerons également les résultats de notre collaboration avec le compositeur Philippe Leroux pour la composition de sa pièce Quid sit musicus. Nous avons réalisé des interfaces permettant de réutiliser des tracés effectués sur une partition médiévale comme données pour les processus de composition, la synthèse sonore et la spatialisation.

Jérémie GARCIA, équipe Représentations Musicales, avant sa soutenance de thèse qui aura lieu le 10 juin 2014 à Orsay,

Supporting Music Composition with Interactive Paper.

This seminar presents our research on interactive paper, a technology enabling to capture handwritten gestures on paper, for supporting music composition.

We will discuss several studies conducted with composers that focus on combining expression on paper with computer-assisted composition. Designing for highly individual creative practitioners who follow a unique process and use personal musical representations is challenging.

Based on participatory design sessions with composers, we introduce Paper Substrates, interactive paper components that provide modular structures for interacting with personal representations of computer-based musical data. We have developed a toolbox and a GUI application to facilitate the creation of interfaces on paper with Paper SUbstrates and to link them with computer-aided composition tools.

We used these tools to build several examples including handwritten music input, drawing in tone networks or using movable paper elements for musical creation. Among the applications, we have developed and used Polyphony, an interface that integrates interactive paper with other interfaces, to conduct a structured observation study with 12 composers. The study allowed us to systematically observe and compare their compositional processes. Finally, we will also describe the results of our collaboration with composer Philippe Leroux for the composition of his piece Quid sit musicus. We created interfaces for generating composition material, synthesizing sounds and controlling the spatialization from handwritten gestures from calligraphic gestures over an old manuscript.