Des informaticiens de l’Université de Toronto ont mis au point un robot caméra appelé Stargazer qui peut créer des vidéos pédagogiques dynamiques. Le robot vise à aider les enseignants et à supprimer les limites du travail avec une caméra statique.
Jiannan Li, étudiant diplômé du département d’informatique de la Faculté des arts et des sciences et chercheur principal du projet Stargazer, a déclaré : « Les enseignants sont là pour enseigner. Le rôle du robot est d’aider à filmer, tout comme le gros du travail.
Le robot transporte une seule caméra de smartphone sur un bras robotique à sept degrés de liberté, lui permettant de se déplacer avec le sujet vidéo et de suivre les objets d’intérêt de manière indépendante. Le système reconnaît les signaux subtils de l’enseignant, tels que les mouvements du corps, les gestes et la parole, qui sont capturés par la caméra et d’autres capteurs.
La parole est captée par un microphone sans fil et transmise au logiciel vocal Microsoft Azure Speech-to-Text. Le texte transcrit est interprété par le modèle de langage GPT-3 avec une invite personnalisée.
Les commandes de contrôle de la caméra sont bien entendu exécutées. Par exemple, pointer sur des objets individuels suffit pour faire un panoramique de la caméra. En plus des gestes, la parole est également analysée et convertie en commandes de contrôle du robot.
Le système devait prouver sa fonctionnalité dans une étude. Six enseignants ont effectué deux séances d’entraînement chacun avant de pouvoir produire des vidéos pédagogiques avec Stargazer. Ils ont montré comment prendre soin des planches à roulettes, faire des sculptures interactives et montré comment mettre en place des casques de réalité virtuelle.
Selon les chercheurs, tous les participants ont pu produire des vidéos de qualité satisfaisante avec la caméra robotique. L’équipe travaille maintenant à élargir le vocabulaire des intentions subtiles pour améliorer la collaboration avec le robot et produire des vidéos encore plus belles.
Les scientifiques admettent que Stargazer n’est pas encore fait pour le grand public, mais qu’il existe un marché pour les équipements de cinéma robotiques professionnels. Le bras robot utilisé est encore trop cher pour les applications d’enseignement et repose également sur des capteurs externes, ce qui rend l’application encore plus compliquée.
