Projets de robotique

Smart Orchestra

De la baguette connectée à l'orchestre 2.0

La naissance du projet

Ce projet est né suite à une répétition d'orchestre compliquée due à l'absence de musiciens. Il m'est venu l'idée que des instruments virtuels pourraient compenser l'absence de certains musiciens, particulièrement ceux sur lesquels se repèrent les autres. Mais comment synchroniser des instruments virtuels lors des répétitions ?

Le plus simple est de partir du chef d'orchestre qui guide les musiciens. En développant une baguette connectée capable de détecter ses mouvements, il serait possible de retranscrire et d'interpréter ces informations.

Concernant la sonorisation, il est souhaitable d'émettre le son au milieu des musiciens pour qu'ils retrouvent l'environnement sonore auquel ils sont habitués. L'idée est de positionner des bots (robots musiciens) à l'emplacement de chacun des absents, chaque bot jouant alors une voix spécifique.

Le projet

La solution mise en place repose sur un réseau d'appareils interconnectés :

• Une baguette connectée récupère et interprète les mouvements du chef d'orchestre,
• Un ordinateur récupère les partitions disponibles en ligne sur Adimuse puis les diffuse aux autres appareils,
• Des bots (robots musiciens) éparpillés dans la pièce jouent les voix qui leur sont attribuées,
• Le chef d'orchestre contrôle le système via une tablette :
  
  Choix de la partition à jouer, attribution des voix aux bots, mesure de départ, …
• Une box assure les échanges entre tous les appareils,
• Cerise sur le gâteau, les musiciens disposent d'une application web permettant d'afficher leur partition et de la synchroniser sur les mouvements du chef d'orchestre. Plus besoin de tourner les pages ni de compter les mesures.

Pour aller plus loin

Améliorer le projet

Le projet fonctionne en l'état, cependant je souhaite poursuivre pour accroître encore la simplicité d'utilisation :

• Détection et interconnexion automatique des différents composants du système,
• Baguette auto-adaptative : actuellement, la baguette se base sur des paramètres, propres à chaque chef d'orchestre, pour optimiser la captation des mouvements.

Ouvrir les portes de l'orchestre aux malvoyants

Les signaux interprétés par la baguette peuvent être retransmis aux malvoyants via un dispositif haptique. Différentes thèses traitant du sujet montrent qu'un tel projet nécessite un peu d'ingénierie pour aboutir à un dispositif simple et efficace pour l'utilisateur.

Former les chefs d'orchestre

Un chef d'orchestre m'a apostrophé sur le fait qu'un tel dispositif pourrait être un outil de formation des chefs d'orchestres. Le chef d'orchestre pourrait s'exercer en toute autonomie tout en bénéficiant d'un rendu sonore intéressant. L'outil peut également évaluer sa prestation et mettre en lumière certains points d'améliorations.

Mon rôle dans ce projet

Initiateur et porteur du projet, j'ai réalisé une étude de faisabilité basée sur de l'analyse vidéo. J'ai ainsi pu disposer d'un jeu de données me donnant les caractéristiques des signaux à traiter (accélération, …). De là, j'en ai déduit la puissance de calcul nécessaire et des composants nécessaires (microcontrôleur, accéléromètre, gyroscope).

Toujours seul sur le projet, j'ai réalisé un premier prototype mêlant électronique et informatique pour proposer une solution tournant sur un simple PC, la baguette et son récepteur (boîtier connecté au PC).

Dans une deuxième version, j'ai opté pour une solution basée sur l'Adibox, permettant une amélioration des performances et une diffusion sonore plus appropriée via la mise en place de bots. Ce travail a été mené en équipe.

Où retrouver ce projet ?

Retrouvez plus d'informations sur le projet sur le site Adimuse-Labs (site dédié aux innovations d'Adimuse).

Option robotique

J'ai participé à des cours supplémentaires dans le cadre de la section Robotique de l'ISEN. Ces cours étaient orienté sur des projets : nous travaillions par groupe de quatre sur un projet qui dure tout au long de l'année. L'objectif était de comprendre le support qui nous était donné, si besoin, l'adapter, et faire en sorte que le robot en question réponde au cahier des charges.

Notre défi était de réaliser un véhicule équipé de roues mecanum contrôlé par une IA. Nos robots devaient se déplacer dans un labyrinthe sans abimer les murs et sans percuter les autres robots.

Les roues mecanum sont des roues comportant à leur surface de petites roues offrant de nouvelles possibilités de déplacement : Déplacement latéral, rotation sur place, déplacement en diagonal, effectuer un virage tout en gardant les roues droites.

Modélisation 3D

Au cours de mes différents projets, j'ai été amené à modéliser de nombreuses pièces en 3D, que ce soit de simples pièces comme les embouchures de mes flûtes en PVC, ou des assemblages complets comme pour la conception de ma guitare multi-manche modulable.

J'utilise principalement deux outils : SolidWorks et FreeCAD.

Un exemple d'un de mes réalisations 3D est un sixième doigt, fait à partir d'un doigt en silicone réalisé durant mon stage à l'INRIA pour lequel j'ai conçu une armature pour pouvoir l'attacher à une main humaine.

Robotique déformable (Stage à l'INRIA)

Durant mon année de troisième, j'ai eu l'occasion de faire deux stages d'observation, en particulier un dans les laboratoires de l'équipe projet Defrost au sein de l'INRIA.

Cette équipe travaille sur un outil de simulation de robotique déformable.

La robotique déformable est une approche novatrice de la robotique qui s'appuie sur la déformation des matériaux. Cette approche présente plusieurs avantages :

• Etre en capacité d'attraper un objet fragile sans l'abimer (ex: un gobelet en plastique, une tomate, un oeuf, ...),
• Se faufiler dans les tissus du corps humain sans les déchirer,

La robotique déformable s'appuie sur des structures souples complexes à modéliser. Elle nécessite plus de calculs et de bonnes connaissances en mathématiques.

En robotique rigide, ce sont les solides qui bougent entre eux il y a peu de mouvements possibles et ceux-ci sont faciles à modéliser.
En robotique déformable ce sont les solides qui se déforment, offrant un panel de mouvements beaucoup plus large ainsi qu'une capacité à s'adapter à l'environnement extérieur d'où la complexité de modélisation.

Bras articulé

Au collège, j'ai pu m'initier à la robotique grâce au robot Mindstorm, il m'a permis de faire de petits robot divers et variés pour mieux comprendre leurs fonctionnements.

A la maison, je me suis exercé avec les défis proposés par le lego Mindstrom.

Je me suis ensuite lancé dans la création d'un bras articulé dont les moteurs sont déportés en dehors du bras pour alléger ce dernier. En voici une simulation : le robot suis un mouvement effectué au doigt sur une tablette.

J'utilise les cartes Arduino dans différents projets, que ce soit pour ma cornemuse électronique ou pour mon projet au sein de l'option Robotique