Are "virtual children" the future of education? Can they help us understand the development of real children? These are the fascinating questions raised by the research of Justine Cassell, an Inria-Paris researcher and member of the COML (Cognitive machine learning) group within the Cognitive Sciences and Psycholinguistics Laboratory. Justine Cassell is at the origin of the development of the Embedded Conversational Agent (ECA), a virtual human capable of interacting with humans using both language and non-verbal behavior. Meeting with a researcher who is convinced that learning and development are achieved through interaction.
Article originally published on https://www.ens.psl.eu.
Le parcours universitaire pluridisciplinaire construit "autour du monde" de Justine Cassell est pour le moins inhabituel. Très tôt elle est passionnée par l’étude des histoires inventées par les enfants, et « par leur gestuelle et le langage qu’ils emploient lorsqu’ils racontent des histoires. » Après avoir obtenu une licence de Lettres Modernes à Besançon, elle poursuit avec un master de linguistique à Édimbourg, puis un double doctorat de psychologie et linguistique à Chicago. Mais loin de lui ouvrir des portes, sa formation pluridisciplinaire et internationale sera tout d’abord un frein pour la publication de ses recherches et une barrière dans les étapes professionnelles qui conduisent à un poste de professeure. Qu’importe, elle décidera de s’en servir, mieux de de s’en arranger, afin de façonner une recherche singulière et ses propres outils pour y parvenir.
C’est pendant une année sabbatique passée à l’institut des sciences cognitives de l’Université de Pennsylvanie que Justine Cassell commence à travailler avec des informaticiens pour construire des modèles comportementaux par ordinateur. « Cette année a vraiment transformé mon approche de mon travail, puisqu’avec une équipe formidable, nous avons inventé le premier agent conversationnel qui adoptait automatiquement un langage verbal et non verbal en se basant sur des théories issues de l’analyse du discours et d’études de la relation entre le verbal et le nonverbal». Par la suite, professeur pendant neuf ans au Media Lab du MIT où elle est titularisée, elle utilise l’informatique comme un outil pour modéliser le comportement humain, et commence « à construire des systèmes et des technologies conversationnelles, d'une part pour le monde du travail et d'autre part pour l'éducation des jeunes . » C’est d’ailleurs au MIT qu’elle parle avec Jacques Mehler, pionnier des sciences cognitives chez l’enfant, qui l’encourage dans l’étude de l’interaction entre les gestes et le langage.
Les compagnons invisibles sont étroitement liés à l'environnement de l'enfant, et la plupart des résultats d'études psychologiques s’accordent pour dire que les amis imaginaires remplissent une fonction positive et favorisent le développement des enfants. «Avec les amis imaginaires, il n’y a pas de scénario, l’imagination de l’enfant n’est pas limitée. Cela les aide considérablement à développer leur créativité et à construire leur interlocuteur idéal, quelqu’un qui est toujours là pour les écouter. Dans mon laboratoire, nous développons nos pairs virtuels de façon à ce qu’il soit difficile de les genrer (garçon ou fille). Nous faisons cela exprès, pour que les enfants puissent projeter sur eux leur propre idée de la personne avec qui ils veulent parler. Ainsi, les pairs virtuels jouent un peu le rôle d’un ami virtuel.» Justine Cassell cite aussi le travail de Marjorie Taylor, qui a publié de nombreuses recherches sur les compagnons imaginaires, en montrant toutes les raisons pour lesquelles ils jouent un rôle positif dans le développement de l’enfant : « Les enfants qui ont un ami imaginaire sont plus aptes à prendre le point de vue d’une autre personne (signe d’empathie) et ont un plus grand vocabulaire .»
De l’ami imaginaire à l’ami virtuel avec lequel l’enfant interagit, il n’y a qu’un pas. Les enfants virtuels, ou comme les appelle Justine Cassell , les « pairs virtuels », sont des intelligences artificielles (IA) auto-apprenantes qui servent de compagnons aux vrais enfants, des enfants modélisés sous la forme de dessins animés en taille réelle (l’image du «pair virtuel» est projetée contre un mur et fait environ un mètre de haut). Contrôlés par un logiciel d’intelligence artificielle, «ils ressemblent à des enfants, parlent et se comportent comme eux, mais ils ont également certaines compétences inspirées des meilleurs professeurs : ils encouragent les enfants à s’exprimer, à parler de manière claire, et à formuler des phrases qui sont en relation avec ce qui a été dit auparavant, mais aussi à admettre qu’ils ne comprennent pas quelque chose, ce qui est le début d’un apprentissage. »
Partant du constat que les jeunes enfants apprennent plus facilement en petits groupes et par l’interaction, ces recherches souhaitent dépasser « le concept de hiérarchie dans la salle de classe et encourager les enfants à désapprouver et débattre, et leur faire apprendre aussi par la construction (ce qu’on appelle le « constructivisme ») ». Cette technologie d’apprentissage met ainsi en place des outils permettant aux jeunes enfants « d’utiliser tout leur corps, pas seulement leurs yeux et leurs oreilles. Par exemple, j’ai développé des peluches et des kits de construction informatisés qui permettent aux enfants d’améliorer leurs capacités à lire et à écrire. »
Il s’agit également d’un apprentissage qui s’appuie principalement sur des modèles d’interactions dyadiques (qui impliquent deux personnes) et qui se servent de la connivence qui s'en suit. « Lors de nos expériences, nous avons vu des enfants taquiner le pair virtuel, et même lui donner des conseils pour mieux réussir sa part de l’activité qu’ils étaient en train de réaliser. »
L’observation de ces interactions et de cette proximité affective est d’ailleurs à l’origine d’une des découvertes étonnantes de l’équipe de recherche : l’importance du rôle des taquineries et même des « insultes amicales » dans l'apprentissage : « Nous avons constaté qu’au sein d’un groupe d’amis, ces comportements prédisent positivement l’apprentissage dans ce même groupe, tandis qu’ils ont une influence négative entre des enfants qui ne se connaissent pas. Mon interprétation de ce résultat est que pour les enfants qui se connaissent, les taquineries et les insultes amicales peuvent servir à renforcer le lien social (renforcer la connivence). Elles démontrent à leur interlocuteur que cette dyade vit en dehors des normes sociales habituelles et que le lien est solide. Ce lien fort semble permettre aux enfants d'être vulnérables et d'admettre qu'ils ne connaissent pas le sujet qu'ils apprennent. Et admettre que l'on ne sait pas est la première étape de l'apprentissage (la vulnérabilité est propice à l'apprentissage). »
Faut-il en conclure que le « pair virtuel » serait le meilleur partenaire d’apprentissage ? «C’est le contenu même de l’interaction et son comportement qui fait du pair virtuel un bon compagnon d’apprentissage, et c’est pourquoi nous commençons toujours nos recherches en étudiant les interactions entre les enfants et en les utilisant comme modèle pour définir comme faire agir nos pairs virtuels .»
Les recherches de Justine Cassell et son équipe s’attachent à démontrer l’importance des « pairs virtuels » dans les étapes d’apprentissage d’enfants en difficulté. Le « pair virtuel » jouant ainsi un rôle privilégié, en enseignant aux enfants comment construire un lien social, en soutenant l'apprentissage et la vie sociale.
Lors d’une étude dédiée à des enfants atteints de troubles du spectre de l’autisme, les chercheurs ont ainsi développé une méthode pour que des enfants de 11 à 14 ans atteints de troubles du spectre autistique puissent contrôler le pair virtuel et définir pour lui de nouveaux comportements sociaux: « On a utilisé ce « pair virtuel contrôlable » dans le cadre de scénarios sociaux, qui permettent traditionnellement d’enseigner aux enfants atteints d’autisme et du syndrome d’asperger des comportements sociaux. On a alors remarqué que pour plusieurs comportements sociaux clés, les enfants qui contrôlaient le pair virtuel avaient par la suite plus de facilités à s’engager dans une interaction sociale avec leurs pairs réels par rapport aux enfants qui avaient été exposés aux scénarios sociaux traditionnels, sans pair virtuel contrôlable.»(1)
Ces recherches résonnent plus fortement encore aujourd’hui, dans une période marquée par l’interruption fréquente des établissements scolaires où la pédagogie d’enseignement classique est remise en question. « Je pense que les salles de classe et les professeurs seront toujours très importants pour le développement des enfants. Par exemple, les professeurs peuvent leur apprendre le discernement (définir si un site web est fiable ou s’il véhicule seulement des fausses informations). Cependant, la pandémie nous aura appris qu’en l’absence d’une hiérarchie dans la salle de classe, les jeunes sont capables de s’enseigner mutuellement des choses, peut-être grâce à leur relation symétrique, et ils le font. L’absence de hiérarchie encourage les jeunes à se lancer dans des débats et à argumenter à partir de leurs désaccords ce qui est extrêmement bénéfiques pour leur apprentissage. Nous avons ainsi vu pendant la pandémie, des jeunes qui se sont mobilisés pour élargir les connaissances autour de sujets abordés à partir de Wikipédia, ou à l’aide de vidéos scientifiques sur YouTube ou encore de mini-cours sur TikTok. J’espère que nous n’oublierons pas ces leçons une fois les salles de classe rouvertes.»
Animée par la double ambition de créer des modèles de comportements humains et des systèmes informatiques innovants, la chercheuse constate que les nouvelles technologies éducatives sont trop souvent utilisées pour appuyer des modèles d’éducation anciens et généralement obsolètes : « nombre d’entre elles requièrent encore des enfants qu’ils écoutent les instructions d’un enseignant qui se place devant la classe, puis qu’ils répondent « oui » ou « non » à une série de questions. J’essaye d’intégrer des moyens pour que les enfants puissent débattre ou désapprouver ce qu’ils entendent, puisque depuis Piaget et Vygotsky (et Platon et Socrate avant eux), nous savons qu’être forcé à comprendre et intégrer un point de vue différent du nôtre (ce que Piaget appelle le « conflit cognitif ») est une bonne façon d’apprendre. La technologie peut ainsi avoir un rôle positif dans l’éducation de bien des façons.»
Mais doit-on craindre l'intrusion de cette technologie ? Les parents et enseignants doivent-ils se méfier de ces « enfants virtuels » ? En 20 ans de développement de « pairs virtuels » et d’observation des interactions humain-machine, Justine Cassell n’a jamais vu de cas d’un enfant qui confondrait un pair virtuel avec une vraie personne, et se veut rassurante car « même les plus jeunes savent très bien qu’il s’agit d’une entité virtuelle, comme un personnage de jeu vidéo . Et je n’ai jamais vu d’enfant neurotypique préférer interagir avec les enfants virtuels plutôt qu’avec de vrais enfants. » Pour la professeure, il s’agit de concevoir le numérique au sens large, et plus particulièrement les systèmes à base d'intelligence artificielle, «plus centrés sur l'humain afin qu'ils puissent agir comme des partenaires plutôt que comme des remplaçants des personnes ». C’est d’ailleurs tout l’enjeu de cette promesse sociétale qu’elle entend mener à bien dans le cadre de ses nouvelles fonctions au Conseil national du numérique (le CNNUM).
Quant au sujet de la dangerosité des écrans, la réponse de la chercheuse est claire et significative : « D'après toute la littérature scientifique à laquelle j'ai eu accès et sur laquelle j'ai travaillé, les écrans sont rarement la cause du détournement des enfants sur d'autres activités. Loin de cela, je dirais même que les écrans sont souvent le résultat d'une attention réduite de la part des parents (qui peuvent être absorbés par leurs propres téléphones portables ou tablettes), ou d’autres situations où les offres de divertissement sont réduites. Dans un livre sur les jeux vidéo, que j’ai édité avec Henry Jenkins dans les années 1990, nous avons d’ailleurs lié la montée en puissance des jeux vidéo à la diminution des espaces verts dans lesquels les enfants peuvent aller jouer… »
(1) Le scénario social ou 'social story' est un concept développé par Carol Gray.
À propos de Justine Cassell
Linguiste et psychologue de formation, avec un double doctorat de l'Université de Chicago, Justine Cassell travaille sur les interactions entre humains et machines au sein de l’Institut de recherche interdisciplinaire en intelligence artificielle PRAIRIE (PaRis Artificial Intelligence Research InstitutE). Elle est chercheuse chez l'Inria-Paris et membre du groupe COML au sein du Laboratoire de Sciences Cognitives et Psycholinguistique (ENS-PSL) . Elle détient également une chaire en technologies du langage à la faculté d’informatique de l’Université Carnegie Mellon et a fondé le Centre pour la technologie et les comportements sociaux de l’Université Northwestern . Elle a été également professeure associée permanent au Media Lab du MIT, où elle dirigeait un groupe de recherche sur le langage gestuel et narratif, Justine Cassell a co-fondé EqualAI, une association qui lutte contre les biais dans l’intelligence artificielle.
Justine Cassell a été nommée en février 2021 au Conseil National du Numérique.
Le CNNUM (Conseil National du Numérique) est une commission consultative indépendante responsable de l’étude de nos relations avec les technologies numériques. Ses 17 membres, nommés par le Premier ministre, regroupent différents domaines d’expertise (philosophie, sociologie, psychologie, anthropologie, économie, entreprenariat, droit, politique, etc.) «Cette diversité nous permet de répondre aux questions fondamentales avec différents points de vue. Dernièrement, j'ai fait partie d'un groupe de quatre membres chargés d'un rapport sur "Comment le numérique transforme-t-il notre relation aux savoirs " - nous venons de publier une version courte de ce rapport très prochainement, intitulée "De l'informatisation à la capacitation : Pour un numérique au service des savoirs". Il s'agit d'une belle initiative, à laquelle il est passionnant de participer, surtout en ce moment ! »Site web personnel de Justine Cassell
Son laboratoire de recherche - Articulab : La mission d'ArticuLab est d'étudier l'interaction humaine dans des contextes sociaux et culturels pour alimenter des systèmes informatiques qui, à leur tour, aident à mieux comprendre l'interaction humaine, et à améliorer et soutenir les capacités humaines dans les domaines qui comptent vraiment.
Un exemple avec le Projet Rapt: Rapport-Aware Peer Tutor - Conception d'un tuteur virtuel pour établir une relation et soutenir l'apprentissage des enfants.
Tisser des liens: les enfants virtuels peuvent-ils aider les enfants réels? Conférence de Justine Cassell lors du Forum des Sciences Cognitives 2021, organisé par Cognivence, l’association des Étudiants en Sciences Cognitives d’Île-de-France.