Informations

Support : Publications
Auteur(s) : Pierre-André Caron, Sébastien George, Julian Alvarez
Editeur : Revue Sticef, Volume 21, 2014, ISSN : 1764-7223
Date : 2015
Langue :

Description

Introduction au numéro spécial 
« Évaluation dans les jeux sérieux »

 

Editorial

 

Pierre-André CARON (Université Lille 1, CIREL), Sébastien GEORGE (Université du Maine, LIUM), Julian ALVAREZ (Université Lille 1, CIREL)

 

1. Introduction et contexte du numéro spécial

Depuis 2002, les jeux sérieux suscitent un engouement croissant par les perspectives que l'objet promet d'offrir en termes de prévention, de formation, d'éducation, d'apprentissage, de thérapie, de communication, d'entraînement, de collecte de données, etc.

Dix ans plus tard, en 2012, le premier colloque scientifique international e-virtuoses dédié à l’étude de l’impact du jeu sérieux est organisé sur Valenciennes. Intitulé « Évaluer et mesurer l’impact du jeu sérieux », ce colloque vise à aider les commanditaires, les prescripteurs, les utilisateurs, les concepteurs et les chercheurs à comprendre et s’approprier l’objet (Alvarez et Staccini, 2014). Pour cela, l’approche du colloque est de sélectionner des travaux de recherche visant à étudier le potentiel des jeux sérieux pour la formation, la communication et la santé au sein de différents écosystèmes. Ces derniers englobant notamment les écoles, les entreprises, les milieux hospitaliers... L’appel à communication qui a permis de recueillir les contributions du présent numéro spécial STICEF fait suite à cette dynamique qui vise à recenser les travaux de recherche destinés à évaluer les jeux sérieux. Cependant, la notion d’évaluation est un concept très large pouvant englober plusieurs domaines. Dans le cadre de ce numéro spécial les aspects retenus dans le cadre de l’évaluation concernent notamment :

- la conception de modèles impliquant l'évaluation de l'apprenant,

- l’analyse de traces et l’élaboration d'indicateurs,

- la scénarisation pédagogique,

- la transposition didactique des activités ou des situations de référence,

- le suivi des activités, des apprentissages et des compétences,

- la valorisation et validation des acquis de l'apprentissage et de l'expérience acquise.

Pour couvrir ces différents aspects liés à l’évaluation, l’appel à communication s’est voulu pluridisciplinaire, ouvert aux questionnements portant sur les aspects épistémiques, informatiques, pédagogiques ou didactiques des jeux sérieux. Ainsi, à l’issue de l’appel à communication, 17 articles ont fait l’objet d’une double relecture par des chercheurs issus des domaines STIC et SHS. Le processus exigeant de relecture-révision a permis finalement la publication des 7 articles qui composent ce numéro spécial. Précisons que le comité éditorial a été confronté à des difficultés concernant la forme et le fond des articles de recherche théorique par opposition à des articles rendant compte de recherche empirique. Ces difficultés concernent en particulier le manque de consensus concernant la structure de la présentation d’un article de recherche de type théorique. À ce titre, il serait sans doute utile de mener, pour le domaine spécifique des EIAH, une initiative comme celle menée en sciences de l’éducation par (Raîche et Noël-Gaudreault, 2008) visant à apporter des lignes directrices pour la rédaction d’articles de recherche théorique afin d'en faciliter l'écriture et  l’évaluation.

2. Cadres théoriques convoqués dans ce numéro spécial

Pour Hadji, la mise en place de l'évaluation à propos d'un objet doit être considérée comme la confrontation de deux processus convergents et se référant à cet objet : le premier consiste à décrire les attentes de l'évaluateur ou des usagers vis-à-vis de l'objet sous forme de critères ; le second processus s'applique à décrire les faits réels provoqués par l'objet en définissant des indicateurs permettant d'en saisir les aspects significatifs (Hadji, 2012). C'est de la confrontation de ces deux processus, description des attentes et description du réel, que résulte l'évaluation.

Pour la majorité des auteurs de ce numéro spécial, cette question des critères et des indicateurs est traitée en convoquant un cadre théorique spécifique du-quel découle la traduction des attentes en critères, ainsi que la définition des indicateurs permettant de décrire la situation. Les cadres théoriques de la motivation, de la volition de l’action conjointe en didactique, de l'action située, la théorie de l'activité, le modèle de la genèse instrumentale, sont ainsi tour à tour séparément ou conjointement convoqués dans ce numéro spécial pour expliquer la construction d'une méthodologie permettant l'évaluation d'un jeu sérieux, du dispositif ou de la situation dans lequel il s'inscrit. Cette pluralité des cadres de référence mobilisés entraîne une multiplicité des méthodologies utilisées, témoignant alors du caractère subjectif de toute évaluation. Ces résultats rejoignent les travaux sur l'évaluation menés par (Cardinet, 1989). Pour l'auteur il faut abandonner l'espoir d'une évaluation absolue, docimologique au profit d'une évaluation qui ne peut se concevoir qu'à la première personne.  Cet auteur propose quatre critères que doit respecter une évaluation :

- non comparative,

- sans gabarit préétabli,

- descriptive

- sans jugement de valeur.

Il est intéressant de noter la similitude des travaux de Cardinet avec ceux de Muratet, Delozanne, Viallet et Torguet présentés dans ce recueil, ces derniers proposant de construire l'instrument d'évaluation et l'évaluation à partir des commentaires libres des usagers.

3. Contenu du numéro spécial

3.1. Cadres théoriques, méthodes et outils pour évaluer les jeux sérieux

Cette première partie montre autant l'importance, pour les auteurs de ce numéro, de ne pas évaluer un jeu sérieux indépendamment de sa situation d'usage que de faire mener cette évaluation par les usagers eux-mêmes.

Une première approche de l'évaluation dans les jeux sérieux consiste à re-censer et à articuler les cadres théoriques mobilisables, pour façonner une mé-thodologie permettant l'évaluation des dispositifs par les apprenants eux-mêmes. C'est ce que proposent Heutte, Galaup, Lelardeux, Lagarrigue et Fenouillet en montrant que les concepts clés de la motivation et de la volition empruntés à (Csikszentmihalyi et al., 2014), (Bandura, 2007), (Hidi & Renninger, 2006), (Deci & Ryan, 1985)sont pertinents pour évaluer d’une part le déclenchement du comportement motivant l’usage d’un jeu sérieux, d’autre part la persistance de l’usage des jeux sérieux en contexte éducatif. Les auteurs présentent alors l'échelle EduFlow qui appliquée à l'évaluation du jeu Mecagenius met en évidence des liens significatifs entre l’usage du jeu, le flow et le climat de classe (l’auto-efficacité, l’intérêt et le climat motivationnel scolaire).

C'est cette même approche consistant à mobiliser un cadre théorique et mé-thodologique pour évaluer l'usage d'un jeu sérieux qui est réalisé par Galaup et Amadescot à propos du même objet Mecagenius. Si l'approche est la même, le cadre théorique mobilisé est quant à lui différent : il s'agit du cadre de l'action conjointe en didactique (TACD). Le postulat posé par les auteurs est que les phé-nomènes transpositifs ne s'arrêtent pas à l'issue du processus de conception du jeu sérieux, mais se poursuivent en situation et résultent d’une co-construction entre professeur et élèves relativement aux enjeux épistémiques cristallisés dans les mini-jeux constitutifs de l'artéfact informatique. Dès lors, mobiliser le cadre de la TACD permet aux auteurs de décrire et comprendre l’évolution du système observé et de mettre en évidence les phénomènes didactiques sous-jacents. Les résultats présentés suggèrent ainsi une intégration contrastée de l'artefact à la pratique usuelle des enseignants, allant d'une incorporation à des usages didactiques très classiques jusqu’au développement d'un rapport instrumental avec l’artefact. Les auteurs montrent ainsi que la potentialité « dévoluante » de ces artefacts n’est pas une caractéristique intrinsèque et qu'elle doit être considérée comme une propriété émergente liée aux conditions de leurs usages in situ.

Un des écueils de l'approche utilisée par les auteurs cités précédemment est d'évaluer le dispositif jeu sérieux selon un cadre de référence fixe convoqué par les chercheurs, (celui de la motivation et de la volition pour Heutte, Galaup, Lelardeux, Lagarrigue et Fenouillet ; celui de la TACD pour Galaup et Amadescot) au risque d'instruire ce que Barbier (1985), cité par De Ketele (1993), appelle une structure pyramidale des pouvoirs. Un cadre de référence externe est appliqué, par des chercheurs, pour définir les critères et les indicateurs de l'évaluation, différents dispositifs sont alors sensés être évalués objectivement selon ce cadre au risque de ne pas rendre compte de propriétés émergentes et peut être fondamentales de l'évaluation. Contrairement à l'approche précédente Muratet, Delozanne, Viallet et Torguet, confrontés à la pluralité des situations d'usage, choisissent d'évaluer autant le jeu sérieux que les situations dans lesquelles il s'inscrit. Plutôt que de convoquer un cadre théorique et d'en déduire les indicateurs de l'évaluation, les auteurs proposent une analyse catégorielle des commentaires libres des utilisateurs qui permet à la fois la définition des critères d'évaluation par les usagers, et la catégorisation des recommandations formulées. Les auteurs rejoignent donc, d'une part, les auteurs précédents en affirmant que la question de l'évaluation ne peut être tranchée indépendamment du dispositif d’enseignement que le jeu sérieux instrumente ; mais s'en démarquent, pour une autre part, en construisant directement les domaines puis les critères de l'évaluation à partir des commentaires des usagers.

3.2. Évaluation de l’apprenant-joueur (traces)

Dans la mouvance actuelle des jeux sérieux, qui débute avec America’s Army en 2002, nous recensons l’utilisation de métriques. Dans le domaine informatique, les métriques sont un ensemble de mesures associé à une application informatique. Par exemple lorsqu’un jeu vidéo mesure le temps mis par le joueur pour terminer chaque niveau de jeu, nous recensons une métrique. Il est ainsi possible pour un formateur ou un enseignant, de suivre le parcours d’un utilisateur de jeux sérieux et de connaître les stratégies adoptées, les temps de réactions, les réponses formulées, etc. Des travaux de recherche menés autour des métriques dans le cadre des jeux sérieux sont notamment conduits par(Carron et al., 2008). Ces métriques constituent ainsi des traces, au sens entendu par Pierre Rabardel, qui peuvent s’inscrire dans des travaux d’analyse de l’activité (Rabardel, 1995).

L’année 2002 correspond à la parution du titre America’s Army produit par l’Armée étasunienne et qui constitue le porte étendard de la mouvance actuelle des jeux sérieux basés sur les jeux vidéo, encore appelés « Serious Video Games »1. Ce titre fait déjà recours à des métriques pour jauger les utilisateurs afin d’évaluer leurs performances dans le jeu et identifier des recrues potentielles.

Si les métriques semblent constituer une approche pertinente pour étudier et analyser les apprentissages, les compétences ou les savoirs d’un ou plusieurs utilisateurs, leur association à des jeux sérieux se heurte cependant à diverses problématiques. Ainsi, selon Djaouti, il existerait deux principales approches : intégrer un Jeu Sérieux à un LMS (Learning Management System) ou construire un outil d’analyse à façon pour chaque jeu. La première approche serait simple d’utilisation mais présenterait des limites importantes quant aux données à enregistrer. La seconde s’affranchirait de ces limites mais serait contrainte par les coûts élevés liés à l’implémentation. Djaouti nous invite donc à explorer une troisième voie, l’utilisation de « plateformes génériques de mesures analytiques » à l’instar de Google Analytics etPlaytomic. Si cette piste semble prometteuse, quelques limites sont néanmoins recensées comme par exemple devoir recourir à une transformation des traces récoltées pour les adapter aux besoins de l’analyse. Les enjeux associés à la collecte et à l’interprétation de ces traces sont nombreux. Dans le champ des jeux sérieux, les travaux deSehaba et Hussaan visent à rendre les scénarios ludiques et pédagogiques adaptatifs. Pour ce faire, il convient de disposer d’analyses des traces d’interaction de qualité pour que les adaptations puissent répondre de manière idoine aux besoins des utilisateurs. Lorsque ces mêmes utilisateurs nécessitent de la rééducation cognitive comme nous l’exposent Sehaba et Hussaan, il est aisé de mesurer l’importance des enjeux associés aux métriques.  

3.3. Évaluation expérimentale pour mesurer les impacts de jeux sérieux utilisant des interactions avancées

Les chercheurs et concepteurs de jeux sérieux font de plus en plus appel à des techniques d’interactions dites avancées. En particulier, des travaux s’intéressent à l’apprentissage en situation de mobilité, de collaboration, ou encore utilisent des interactions tactiles et de la réalité mixte (avec notamment des interfaces tangibles). Si, à première vue, les interactions innovantes dans les jeux sérieux visent logiquement l’amélioration des aspects interactionnels, nous pouvons nous interroger sur leurs impacts sur les aspects pédagogiques. Ainsi, la question de leur influence sur les apprentissages demeure ouverte, peu de travaux ayant abordé ce point jusqu’alors. Dans ce numéro spécial, deux articles abordent cette question de l’évaluation de l’impact des IHM innovantes. Dans ces deux articles, les travaux présentés relèvent d’une recherche-action visant ainsi à « transformer la réalité et produire des connaissances concernant ces transformations » (Hugon et Seibel, 1988). Le premier article, de Kubicki, Pasco et Arnaud, présente une évaluation de l’utilisation en cours préparatoire d’un jeu sérieux sur table interactive avec objets tangibles. Le travail présenté est une étude comparative ayant pour objectif de montrer les impacts d’une table interactive sur l’activité des élèves. Les résultats indiquent une différence significative sur le temps passé sur la tâche,  les élèves passant davantage de temps lors du jeu sur table interactive. La table interactive semble ainsi offrir plus d’opportunités aux élèves de s’engager activement dans la tâche et d’apprendre de la résolution du problème posé. Les résultats montrent aussi que cette évolution n’est pas identique pour tous les élèves et qu’il faut ainsi veiller à accompagner la mise en œuvre de ces technologies innovantes pour qu’elles profitent à tous. Dans le deuxième article, écrit par George, Michel, Serna et Bisognin, il s’agit d’évaluer un jeu sérieux utilisant de la réalité mixte et destiné à un public d’élèves-ingénieurs. L’objectif de ce jeu sérieux est de former aux principes d’une méthode de génie industriel (le Lean Management) au travers d’une situation fondée sur la simulation de postes de production. Cette simulation utilise plusieurs types de dispositifs numériques : des ordinateurs, des tablettes et des tables interactives sur lesquels des actions sont réalisées à l’aide d’interfaces tangibles. Une étude comparative a été effectuée pour mesurer les impacts par rapport à une version non informatisée du même jeu sérieux. Cette comparaison montre que le jeu sérieux en réalité mixte a un impact positif sur l’apprentissage, en particulier concernant les concepts théoriques de la formation. Dans les deux articles présentés, les évaluations portent sur des effectifs réduits. Cela s’explique par la difficulté à mettre en place et à analyser ce type d’activité innovante. Les résultats révèlent néanmoins des tendances sur lesquels d’autres concepteurs peuvent s’appuyer.

4. Conclusion et perspectives

En traduisant le terme « Serious Game » dans la langue de Molière par « jeu sérieux », nous introduisons la double approche du jeu. En effet, en français, « jeu », peut se référer à la fois à l’artefact et à l’activité. Ce n’est pas le cas de « Game » et « Serious Game » qui en anglais désignent uniquement l’artefact. Dès lors, s’inscrire dans l’évaluation des « jeux sérieux » implique la possibilité de s’inscrire dans différentes disciplines scientifiques voire d’opter pour des approches pluridisciplinaires pour conduire de tels travaux. C’est le positionnement choisi pour les colloques scientifiques des e-virtuoses et l’appel à communication de ce numéro spécial de STICEF. L’objectif est ainsi de nourrir une réflexion basée sur un partage de paradigmes issus de différentes approches disciplinaires telles que, de manière non exclusive, de la psychologie, de la sociologie, de l’informatique, des neurosciences, des arts, des sciences de l’éducation, de l’information et de la communication, de gestion,... L’idée est d’offrir un spectre large pour sonder au mieux un objet mais aussi une activité, dont l’impact peut être pluriel et relatif. Pour donner corps à cette transversalité scientifique, dans le cadre des e-virtuoses, il a été mis en place un partenariat entre plusieurs revues scientifiques pour représenter différentes disciplines : Interfaces Numériques (art) (Lavigne, 2014), RIHM (sciences de l’information et de la communication) (Useille et Alvarez, 2013), SIM (sciences de gestion) (Michel et Mc Namara, 2014)et bien entendu STICEF (informatique et sciences de l’éducation). Si la question de l’évaluation n’est pas explicitement posée par ces revues, elles interrogent et questionnent néanmoins l’objet selon des approches propres. Par exemple, la revue Interface Numérique, coordonnée par Michel Lavigne (Lavigne, 2014), questionne notamment la notion de jeu et des liens qui peuvent être établis avec l’aspect « sérieux ». Comprendre ces liens nourrit implicitement les travaux en lien avec la question de l’évaluation. Par exemple utiliser un jeu sérieux pour apprendre implique l’évaluation des apprentissages mais également des compétences à jouer. Il convient donc de comprendre les liens entre la notion de jeu et les aspects sérieux pour construire des modèles idoines visant à évaluer ces différents aspects. Un tel constat nous invite à considérer que le chantier que nous ouvrons avec la question de l’évaluation dans les jeux sérieux est vaste et complexe. Nous commençons à peine son exploration. Dans ce contexte, le recueil des 7 articles qui composent ce numéro spécial STICEF constitue un travail pionnier qu’il conviendra sans nul doute de poursuivre et d’enrichir.  

---

1 Vocable proposé par les organisateurs de l’exposition « Jeux Vidéo, l’Expo », 22 Octobre 2013 – 24 Août 2014, Cité des Sciences, Paris :Disponible sur Internet

BIBLIOGRAPHIE

ALVAREZ J., STACCINI P. (2014). Actes de conférences colloques scientifiques internationaux e-VIRTUOSES 2012/2013 – SEGAMED 2012/2013, Valenciennes, France : CCI Grand Hainaut. Disponible sur Internet.

BANDURA A. (2007). Auto-efficacité : le sentiment d’efficacité personnelle. Bruxelles: De Boeck.

BARBIER J.M. (1985). L'évaluation en formation, Paris, PUF.

CARDINET J. (1989). Évaluer sans juger. Revue Française de Pédagogie, 41–52.

CARRON, T., MARTY, J.-C., HERAUD J.-M. (2008). Teaching with Game Based Learning Management Systems: Exploring and observing a pedagogical dungeon. Simulation & Gaming Special issue on eGames and Adaptive eLearning. A practical approach. Vol. 39, No. 3, p. 353-378.

CSIKSZENTMIHALYI M., ABUHAMDEH S., NAKAMURA J. (2014). Flow. Flow and the Foundations of Positive Psychology. Springer, p. 227-238. Disponible sur Internet.

DECI, E. L.,  RYAN, R. M. (1985). Intrinsic motivation and self-determination in human behavior. Springer Science & Business Media. Disponible sur Internet.

HADJI, C. (2012). Faut-il avoir peur de l’évaluation? De Boeck Bruxelles. Disponible sur Internet.

HIDI, S., RENNINGER, K. A. (2006). The four-phase model of interest development.Educational Psychologist, 41(2), p. 111–127.

HUGON M-A., SEIBEL  C., (1988). Recherches impliquées, Recherches action : Le cas de l'éducation, Belgique, De Boeck Université.

KETELE, J.-M. de. (1993). L’évaluation conjuguée en paradigmes. Revue Française de Pédagogie, 103(1), p. 59–80. Disponible sur Internet.

LAVIGNE M. (2014). Des serious games à la gamification : approches critiques des disséminations vidéoludiques – Introduction. Paris, France : Lavoisier. Disponible sur Internet.

MICHEL H., Mc Namara P. (2014). Serious Games : Faites vos jeux ! – Revue Système d’Information et Management, Vol 19, No 3, Montpellier, France : IAE School of Management Montpellier University. Disponible sur Internet.

RABARDEL P. (1995). Les hommes et les technologies, une approche cognitives des instruments contemporains. Paris, France : Armand Colin.

RAÎCHE G., NOËL-GAUDREAULT M. (2008). Article de recherche théorique et article de recherche empirique : particularités », Revue des sciences de l'éducation, vol. 34, n° 2, 2008, p. 485-490. Disponible sur Internet.

USEILLE P., ALVAREZ J. (2013). Editorial, Revue des Interactions Humaines Médiatisées, Vol. 14 n° 1, 2013, France, Paris : Europia, Disponible sur Internet.

 

 

Mots-clés : Serious Game, Jeux Sérieux, Evaluation

---

---