Poïetic

Outils numériques pour les activités créatives

Comment les outils peuvent-ils augmenter les capacités de perception et d'expression créative de l'amateur ? Nous pensons que la pratique doit circuler entre (1) la contemplation, (2) la création, (3) la maîtrise, l'adaptation et la conception de ses outils d'expression, et (4) la compréhension de l'interaction entre le créateur et ses outils. Nous cherchons à développer cette vision, pour nous et pour les autres, à travers différents projets, au-delà des communautés et des institutions spécifiques à chaque pratique. Nous voyons dans le numérique de formidables opportunités et considérons l'interaction homme-machine comme le cadre de réflexion privilégié pour les développer.

Nous sommes Jonathan Aceituno et Ludovic Potier, musiciens amateurs et chercheurs de notre métier. Jonathan est bassiste, batteur et guitariste, a pu jouer dans une centaine de concerts, et termine actuellement son doctorat en informatique au centre de recherche Inria Lille – Nord Europe. Il travaille sur la manipulation directe dans les interfaces graphiques. Ludovic est guitariste et contrebassiste, joue dans plusieurs formations de jazz et de musiques actuelles, et est élève au Conservatoire de Lille. Il est également ingénieur et docteur en sciences cognitives. Il s'intéresse au rôle du geste dans la perception et à la co-conception des instruments et de leurs gestes d'utilisation.

Musique de bureau

La musique de bureau est une vision de la pratique musicale dans laquelle l’ordinateur est pensé à la fois comme un outil informatique générique, permettant par exemple d’exécuter des applications ou de communiquer, mais aussi comme objet physique permettant de jouer de la musique, c'est-à-dire comme instrument de musique.

Dans ce projet nous repensons les rôles traditionnels des laptops et smartphones pour l’informatique musicale. Les moyens de contrôle existants (clavier, dispositif de pointage, etc.) sont détournés de leur usage initial et associés pour former un instrument à vent et un instrument à percussion. Ces deux instruments sont incarnés dans le même objet physique mais offrent chacun une interaction et des possibilités gestuelles différentes pour le jeu musical.

Ecoutez Fidji, un morceau composé pour et joué avec nos instruments.
Nous l'avons également interprété en direct au Forum sur l'Interaction Tactile et Gestuelle le 13 mai 2014.
Des vidéos seront disponibles prochainement.

Nous travaillons uniquement sur le contrôle et utilisons des moyens de synthèse existants qui simulent des instruments acoustiques. Toutefois, leur choix est pensé pendant la conception de l'instrument de manière à donner une pratique musicale cohérente. Ces moyens de synthèse nous permettent d'obtenir un son de qualité et une expressivité convenable, mais nous pensons nous orienter vers la synthèse de sons artificiels pour explorer plus loin les possibilités d'expression offertes par la musique de bureau.

Nous testons ces instruments avec différents utilisateurs, musiciens ou non, afin de perfectionner les interactions pour l'expression musicale, mais aussi pour évaluer l'apprentissage. L'absence de certaines contraintes des instruments traditionnels relatives à la production du son et le facteur de forme donnent l'opportunité d'atteindre rapidement un niveau d’expression satisfaisant.

Instrument à vent

L’instrument à vent est utilisable soit avec un ordinateur portable, soit en associant un smartphone à un clavier. On en joue en soufflant dans le microphone du Macbook ou du smartphone, où l'amplitude du souffle est récupérée à chaque instant. Le souffle module la production des notes qui est dirigée par les touches enfoncées sur un clavier AZERTY qui fonctionne comme les quatre premières cordes d'une guitare : W, Q, A et & donnent Mi, La, et Sol, et les touches consécutives dans chaque ligne sont espacées d'un demi-ton. Ainsi, un guitariste pourra transférer une partie de ses compétences dans cet instrument. Le contrôle d'effets comme le vibrato ou le growl se fait en orientant l'instrument dans l'espace ou bien en déplaçant un doigt sur la surface tactile.

Le son est synthétisé par une gamme d'instruments virtuels mélangeant modélisation physique et échantillonnage.

Pour solidariser le clavier avec le smartphone, nous avons réalisé des pièces en plastique en impression 3D. Nous avons aussi conçu une embouchure pour canaliser le flux d’air vers le micro. Les formes ont été pensées pour donner une cohérence dans les différents gestes de contrôle.

Instrument à percussion

La percussion utilise la richesse de capture des surfaces tactiles habituellement utilisées pour déplacer un curseur. Un appui sur la surface génère un son de batterie différent (caisse claire, cymbale, etc.) selon la zone. Le placement des zones sur la surface a été conçu de manière à répartir le jeu sur les deux mains et à limiter les déplacements des mains. Les caractéristiques de la frappe, comme sa force (représentée par la taille de la surface de contact) ou sa position à l'intérieur de la zone (sur le bord ou sur le centre), sont adaptées et transmises au son synthétisé, ce qui permet un jeu expressif et un apprentissage rapide. La manière de frapper la surface (angle de frappe normal à la surface, ou bien flick) influence le son produit, ce qui permet par exemple de réaliser des rimshots. Un glissement maintenu d'un doigt sur la surface permet également de contrôler deux effets simultanément pendant le jeu. Les touches du clavier sont utilisées pour atténuer les vibrations des différentes cymbales (crash, splash, ride) et pour réassigner des sons différents aux zones, ce qui permet par exemple d'adapter l'instrument pour simuler le jeu d'un ensemble de percussions afro-cubaines.

Le son est synthétisé par un instrument virtuel conçu au départ pour être piloté par des batteries électroniques haut de gamme.

Nous avons également réalisé en impression 3D une grille délimitant la position des différents instruments du set de percussion à poser sur la surface tactile d'un Macbook. De cette manière, les retours visuel et haptique permettent un jeu plus efficace et un apprentissage plus rapide.

Différentes pièces réalisées en impression 3D qui permettent d'augmenter ordinateurs et téléphones portables pour la musique de bureau.

Pupitre numérique

Nous collaborons sur ce projet en cours avec l’équipe Mint (Université Lille 1, CNRS, Inria) et le Conservatoire de Lille pour réaliser un pupitre numérique composé de deux écrans dos à dos et d’un ordinateur placé dans son pied.

Le premier objectif est de permettre l’affichage de contenu visuel sur la face arrière du pupitre (côté spectateur), cachant habituellement les musiciens en action, pour permettre de nouvelles scénographies. Ces possibilités d’affichage offrent de plus l’opportunité de proposer un affichage différencié pour chaque instrument.

Le second objectif est d’étudier l’usage de partitions numériques (côté musicien). Cet écran est tactile et doit permettre de questionner les opportunités et les limites du remplacement du papier, avec des problématiques allant du transport de la partition et du geste de tourner la page jusqu’aux besoins d'annotation qu'ont les musiciens durant leur travail.

Enfin, ce dispositif à double écran (le pupitre sans son pied) va permettre d’expérimenter l’usage d’écran à deux faces. Lors d’un échange à plusieurs autour d’un ordinateur, il faut soit partager un champ de vision unique, soit accepter que certains interlocuteurs ne voient que le dos de l’écran. Nous avons ici la possibilité d’expérimenter une nouvelle forme de l’objet ordinateur (cf. musique de bureau).

Glovebox

Glovebox est un environnement expérimental et extensible de construction et de performance musicale sous forme d'une interface improvisée : l'interaction se fait avec des objets dans notre environnement immédiat non connus à l'avance. Ainsi, le choix des objets et des interactions physiques est laissé au musicien qui construit l'environnement des processus de production du son et des moyens de contrôle de ces processus en même temps qu'il les utilise.

Concrètement, Glovebox permet donc d’augmenter les objets existants (une carte de métro, un téléphone, un stylo ou un collègue de bureau) pour leur donner un comportement numérique choisi, essentiellement avec un effet musical. Glovebox propose une palette de comportements variés pour synthétiser du son, transformer le son avec des effets, contrôler des paramètres et jouer de plusieurs façons différentes, mais il permet également d'en prototyper d'autres avec les langages Python et Pure data, et de les tester rapidement.

Ce système de réalité augmentée tangible pourrait être utilisé avec un casque, mais une façon commode de l'essayer est de mettre une webcam au-dessus de son ordinateur portable et de la pointer derrière l'écran. Les objets qui se trouvent derrière l'écran apparaissent donc sur l'écran, et on peut les manipuler à la manière d'une boîte à gants de laboratoire.

Ce projet a été conçu au départ pour faciliter la recherche dans les interfaces improvisées. Le code source est disponible sur Github sous les termes de la licence GNU GPL 3 (une version OS X est également téléchargeable).

Site du projet (en anglais)

Lutherie

Cet instrument est un hybride entre la guitare, la basse et le caisson. Il possède quatre cordes, pas de frettes, tout comme certaines basses, mais son diapason est celui d’une guitare. Cela permet de marier la rondeur d’une basse fretless avec la vélocité d’une guitare. L’instrument est réalisé en pin cembro avec une touche en mélèze. Sa caisse rectangulaire a été dessinée pour optimiser la fabrication, sans toutefois négliger ses qualités sonores. Il peut en outre être joué comme un caisson (percussion). Enfin, cette forme particulière facilite son rangement.

Cette instrument n’a rien de numérique, mais nous projetons de l’équiper de cellules piézo-électriques dans le but de contrôler des synthèses sonores. Le placement de ces capteurs à différents points de la caisse va permettre d’être sensible aux différents fréquences de l’instrument et de contrôler ainsi différents paramètres d’instruments virtuels avec les sons de l’instrument physique.

Mais son intérêt réside surtout dans le travail de la forme et de la matière. En effet, un instrument de musique s’utilise avec le corps et en devient une extension (ou prothèse) durant le jeu : à travers lui, nos capacités d’action et de perception sont modifiées. C’est pourquoi sa physicalité est primordiale et doit être conçue avec soin.