Évaluation de l’utilisabilité de la réalité augmentée: une étude sur les systèmes neuro-informationnels

Cette étude présente un paradigme expérimental pour un test d’utilisabilité combinant des évaluations subjectives et objectives. L’évaluation objective a adopté les méthodes Neuro-Information-Systems (NeuroIS), et l’évaluation subjective a adopté un questionnaire d’utilisabilité et une échelle NASA-Task Load Index (NASA-TLX).

Cette étude présente un paradigme expérimental pour un test d’utilisabilité des technologies émergentes dans un système d’information de gestion (SIG). Le test d’utilisabilité comprenait des évaluations subjectives et objectives. Pour l’évaluation subjective, un questionnaire d’utilisabilité et une échelle NASA-TLX ont été adoptés. Pour l’évaluation objective, les méthodes des systèmes d’information neurologique (NeuroIS) ont été utilisées. Du point de vue de NeuroIS, cette étude a utilisé des fNIRS mobiles et des lunettes de suivi oculaire pour des mesures multimodales, ce qui a résolu le problème de validité écologique des outils de neurosciences cognitives utilisés dans des expériences comportementales réelles. Cette étude a utilisé la réalité augmentée (RA) intégrée à l’Internet des objets (IoT) comme objet expérimental. En comparant les différences dans les données de neuroimagerie, les données physiologiques, le questionnaire d’utilisabilité et les données de l’échelle NASA-TLX entre les deux modes de recherche d’informations (AR versus un site Web), la recherche d’informations avec AR avait une efficacité plus élevée et une charge cognitive inférieure à la recherche d’informations avec un site Web pendant le processus de prise de décision de consommation. Les résultats de l’expérience d’utilisabilité démontrent que la RA, en tant que technologie émergente dans le commerce de détail, peut améliorer efficacement l’expérience des consommateurs et augmenter leur intention d’achat. Le paradigme expérimental, combinant des évaluations subjectives et objectives dans cette étude, pourrait être appliqué à un test d’utilisabilité pour les technologies émergentes, telles que la réalité augmentée, la réalité virtuelle, l’intelligence artificielle, la technologie portable, la robotique et les mégadonnées. Il fournit une solution expérimentale pratique pour l’expérience utilisateur dans les interactions homme-machine avec l’adoption de technologies émergentes.

Six technologies de pointe qui interagissent avec les consommateurs, généralement représentées par la réalité augmentée, la réalité virtuelle, l’intelligence artificielle, la technologie portable, la robotique et les mégadonnées, remodèlent de nombreux modèles théoriques du comportement des consommateurs¹. La réalité augmentée (RA) est une nouvelle technologie qui pourrait améliorer l’expérience et la satisfaction des consommateurs. Il superpose des informations textuelles, des images, des vidéos et d’autres éléments virtuels sur des scénarios réels pour fusionner la virtualité et la réalité, améliorant ainsi l’information dans le monde réel grâce à l’explication, l’orientation, l’évaluation et la prédiction². La RA offre un nouveau type d’interaction homme-machine, créant une expérience d’achat immersive pour les consommateurs, et a conduit au développement de nombreuses applications ^3,4. Cependant, l’acceptation des services de RA par les consommateurs est encore minime et de nombreuses entreprises sont donc prudentes quant à l’adoption de la technologie AR ^5,6. Le modèle d’acceptation de la technologie (TAM) a été largement utilisé pour expliquer et prédire le comportement d’adoption des nouvelles technologies de l’information ^7,8. Selon le TAM, l’intention d’adoption d’une nouvelle technologie dépend en grande partie de sa facilité d’utilisation⁹. Par conséquent, une explication possible de la lenteur de l’acceptation des services de RA par les consommateurs du point de vue de la MT peut être liée à la facilité d’utilisation des nouvelles techniques, ce qui souligne la nécessité d’évaluer la facilité d’utilisation de la RA lors de l’achat^10,11.

La facilité d’utilisation est définie comme l’efficacité, l’efficience et la satisfaction d’atteindre des objectifs spécifiés dans un contexte spécifié par des utilisateurs spécifiés¹². Actuellement, il existe deux méthodes principales pour évaluer l’utilisabilité : les évaluations subjectives et objectives¹³. Les évaluations subjectives reposent principalement sur des méthodes d’auto-évaluation utilisant des questionnaires et des échelles. Suivant cette ligne de recherche, le questionnaire utilisé dans cette étude comprenait cinq caractéristiques associées au mode de recherche d’information pour atteindre un objectif: (1) efficacité, (2) facilité d’utilisation, (3) mémorisation (facile à retenir), (4) satisfaction (le mode de recherche d’information est confortable et agréable) et (5) généralisabilité à d’autres objets^14,15,16. En outre, la charge cognitive, représentant la charge lors de l’exécution d’une tâche particulière sur le système cognitif d’un apprenant¹⁷, est un autre indicateur de base de la convivialité^18,19. Ainsi, cette étude a également utilisé le NASA Task Load Index (NASA-TLX)^13,20 comme mesure subjective pour mesurer la charge cognitive lors de l’achat en utilisant la RA par rapport aux achats utilisant les services de site Web. Il convient de noter que les méthodes d’auto-évaluation reposent sur la capacité et la volonté des individus de signaler avec précision leurs attitudes et / ou leurs comportements antérieurs²¹, ce qui laisse ouverte la possibilité de fausses déclarations, de sous-déclaration ou de biais. Ainsi, les mesures objectives pourraient être un complément précieux aux méthodes subjectives traditionnelles²².

Les méthodes Neuro-Information-Systems (NeuroIS) sont utilisées pour évaluer objectivement la facilité d’utilisation de la RA. NeuroIS, inventé par Dimoka et al. lors de la conférence ICIS de 2007, attire de plus en plus l’attention dans le domaine des systèmes d’information (SI)²³. NeuroIS utilise les théories et les outils des neurosciences cognitives pour mieux comprendre le développement, l’adoption et l’impact des technologies SI^24,25. À ce jour, les outils de neurosciences cognitives, tels que l’imagerie par résonance magnétique fonctionnelle (IRMf), l’électroencéphalogramme (EEG), la tomodensitométrie par émission de positrons, la magnétoencéphalographie (MEG) et la spectroscopie fonctionnelle dans le proche infrarouge (fNIRS), sont couramment utilisés dans les études NeuroIS^26,27. Par exemple, Dimoka et Davis ont utilisé l’IRMf pour mesurer les activations des sujets lorsqu’ils interagissaient avec le site Web, et ont révélé que la facilité d’utilisation perçue influençait l’activation dans le cortex préfrontal (PFC)²⁸. De même, en utilisant l’EEG, Moridis et al. ont constaté que l’asymétrie frontale était étroitement associée à l’utilité²⁹. Ces résultats indiquent que le PFC peut jouer un rôle clé dans la convivialité.

Bien que des réalisations aient été réalisées dans les études antérieures de NeuroIS, les paradigmes utilisés dans ces études avaient des mouvements corporels limités de sujets ayant une faible validité écologique, limitant leurs contributions théoriques et pratiques. L’interaction avec des technologies telles que la RA lors de l’achat nécessite des mouvements libres du corps, et les contraintes liées au sujet nuisent largement à l’expérience du consommateur, comme discuté dans He et ^coll.22. Ainsi, des outils d’imagerie cérébrale à haute validité écologique sont nécessaires pour un test d’utilisabilité des systèmes d’information. À cet égard, fNIRS présente des avantages techniques uniques: lors d’expériences fNIRS, les sujets peuvent se déplacer librement³⁰ dans une certaine mesure. Par exemple, des études antérieures ont mesuré les activations cérébrales des sujets lors de plusieurs activités de plein air telles que le cyclisme à l’aide de fNIRS³¹ portable. De plus, fNIRS est peu coûteux et permet de mesurer les activations cérébrales pendant de longues périodes³². Dans cette étude, fNIRS a été utilisé pour mesurer objectivement le niveau de charge cognitive des sujets lors de l’utilisation des services d’achat de RA par rapport à un site Web.

L’oculométrie a été une technique psychophysiologique précieuse pour détecter l’attention visuelle des utilisateurs lors d’un test d’utilisabilité au cours des dernières années³³ et a également été largement utilisée dans les études NeuroIS³⁴. La technique repose sur l’hypothèse œil-esprit, qui suppose que l’attention de l’observateur va là où l’attention est dirigée, que l’attention visuelle représente le processus mental et que les modèles d’attention visuelle reflètent les stratégies cognitives humaines^35,36,37. Dans le domaine de la recherche sur la RA, Yang et coll. ont utilisé l’oculométrie pour constater que la publicité pour la RA améliorait l’attitude des consommateurs à l’égard de la publicité en augmentant leur curiosité et leur attention³⁸. Dans la présente étude, le suivi oculaire a été utilisé pour mesurer l’attention des sujets, y compris des paramètres tels que la durée totale de fixation, la durée moyenne de fixation, la fréquence de saccade, la durée moyenne de saccade et la longueur moyenne du trajet de balayage.

En résumé, cette étude propose une méthode de test d’utilisabilité qui combine des évaluations subjectives et objectives avec des applications AR à titre d’exemple. Un questionnaire d’utilisabilité et une échelle NASA-TLX ont été utilisés pour l’évaluation subjective, et des mesures multimodales combinant fNIRS et suivi oculaire ont été utilisées pour l’évaluation objective^39,40.

Conception expérimentale
Matériaux expérimentaux: Pour simuler un contexte d’achat réel, une étagère de produits a été construite dans un laboratoire et deux marques différentes d’eau minérale ont été placées sur l’étagère en tant que matériaux expérimentaux. En tant que biens essentiels, l’eau minérale a été choisie parce que les participants n’auraient pas de biais dans les évaluations subjectives sur la base de leurs antécédents professionnels, de leur sexe et de leur capacité d’achat. Le prix, la capacité et la familiarité des marques ont été contrôlés (voir le tableau des matériaux) afin d’éliminer l’interférence de variables non pertinentes.

Le test d’utilisabilité comprenait deux conditions : une application de RA basée sur un téléphone intelligent (figure supplémentaire 1) et un site Web (figure supplémentaire 2). L’application AR a été programmée sur la base d’un moteur AR. Le site Web a été développé en utilisant Python, basé sur Bootstrap pour le front-end et Flask pour le back-end. L’application AR et le site Web ont été exécutés et consultés sur un smartphone. Parmi les deux marques différentes d’eau minérale, l’une a été utilisée comme matériel expérimental dans l’état AR, et l’autre a été utilisée dans l’état de site Web.

Tâches expérimentales : Les participants ont été invités à effectuer quatre tâches de recherche d’informations dérivées de contextes d’applications IoT : la qualité de l’eau, la température de stockage, le régime alimentaire correspondant et le prix au litre. Ces quatre éléments d’information sont ce à quoi les consommateurs prêtent normalement attention lorsqu’ils achètent de l’eau minérale. Il n’y avait aucune contrainte de temps pour que les participants accomplissent les tâches.

Qualité de l’eau: La qualité de l’eau minérale comprend généralement deux indicateurs: le total des solides dissous (TDS) et la valeur du pH. Le TDS reflète la teneur en minéraux et la valeur du pH décrit l’acidité/alcalinité de l’eau. Ces deux indicateurs sont liés aux oligo-éléments contenus dans l’eau minérale et influencent le goût. Par exemple, Bruvold et Ongerth ont divisé la qualité sensorielle de l’eau en cinq qualités en fonction de sa teneur TDS⁴¹. Marcussen et coll. ont constaté que l’eau possède de bonnes qualités sensorielles de l’ordre de 100 à 400 mg/L de TDS⁴². La valeur TDS et pH des deux marques d’eau minérale utilisées dans cette étude a été mesurée à l’aide de TDS et de pH-mètres, respectivement, puis marquée sur l’application AR et le site Web. Lors de l’exécution de la tâche, les participants devaient indiquer les valeurs TDS et pH de l’eau minérale et confirmer si ces valeurs se situaient dans la plage nominale. Dans la condition AR, les participants pouvaient acquérir cette information en scannant la bouteille d’eau. Dans l’état du site Web, les participants devaient effectuer quatre étapes : (1) trouver un code numérique au dos de la bouteille d’eau minérale, (2) entrer le code numérique dans une boîte de requête pour obtenir les valeurs TDS et pH pour l’eau minérale, (3) rechercher la plage nominale d’eau minérale sur le site Web et (4) indiquer verbalement si la valeur TDS et pH se situe dans la plage nominale du produit.

Température de stockage: La qualité de l’eau minérale peut diminuer pendant le transport et le stockage en raison des changements de température. Des expériences ont montré que la température appropriée pour l’eau minérale se situe entre 5 °C et 25 °C pendant le transport et le stockage. Dans cette plage de température, l’eau n’a pas de mauvaise odeur⁴³. Dans la présente expérience, la température de stockage des deux types d’eau minérale à des endroits différents a été indiquée sur l’application AR et sur le site Web. Lors de l’exécution de la tâche, les participants devaient indiquer l’emplacement de stockage et la température correspondante de l’eau. Dans la condition AR, les participants pouvaient acquérir cette information en scannant la bouteille d’eau. Dans l’état du site Web, les participants pouvaient acquérir cette information en entrant le code numérique dans une boîte de requête.

Régime alimentaire correspondant: Différentes marques d’eau minérale conviennent à différents menus en raison de leur composition minérale unique et de leur teneur en bulles⁴⁴. Dans la présente expérience, les recommandations alimentaires pour les deux eaux minérales ont été marquées sur l’application AR et le site Web. Lors de l’exécution de la tâche, les participants devaient indiquer comment l’eau minérale correspondait à la nourriture du menu. Dans la condition AR, les participants pouvaient acquérir cette information en scannant la bouteille d’eau. Dans l’état du site Web, les participants pouvaient rechercher cette information sur le site Web.

Prix par litre: Actuellement, les étiquettes sur les bouteilles d’eau minérale en Chine n’affichent pas les informations de prix par litre. Il est donc difficile pour les consommateurs de distinguer la différence de prix unitaire des différents types d’eau minérale. Par conséquent, la présente expérience exigeait que les participants déclarent le prix par litre. Dans l’application AR, les participants pouvaient obtenir le prix par litre directement en scannant la bouteille d’eau. Dans l’état du site Web, l’information pourrait être calculée à partir du prix unitaire et du volume sur l’étiquette.

Cette étude a utilisé un plan intra-participant, avec des critères d’inclusion et d’exclusion des participants décrits dans le tableau 1. Au total, 40 participants ont terminé l’expérience (20 hommes et 20 femmes, âge moyen = 21,31 ± 1,16 ans). Tous les participants étaient des étudiants de premier cycle de l’Université des sciences et technologies du Jiangsu et ont été répartis au hasard en deux groupes (A et B). Afin d’éviter l’effet d’ordre, l’ordre expérimental a été contrebalancé entre les deux groupes (A/B). Plus précisément, un groupe a d’abord exécuté la condition AR, puis la condition de site Web, tandis que l’autre groupe a exécuté le site Web en premier, puis la condition AR. Les participants devaient terminer la préparation de l’expérience, porter les instruments et effectuer les tâches expérimentales. L’intervalle entre les expériences a été fixé à 10 s pour permettre à l’activation corticale de revenir au niveau de base, évitant ainsi l’influence croisée dans la tâche suivante. À la fin de l’expérience AR / site Web, les participants devaient remplir le questionnaire d’utilisabilité et l’échelle NASA-TLX. L’organigramme expérimental est illustré à la figure 1. Une photographie de l’installation expérimentale est présentée à la figure 2.

Tableau 1 : Critères d’inclusion et d’exclusion de l’étude. Veuillez cliquer ici pour télécharger ce tableau.

Figure 1 : Organigramme expérimental. Chaque expérience a duré ~45 min, avec une période de repos de 10 s entre les tâches. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 2 : Exemple de configuration de la scène expérimentale. Le matériel expérimental, le participant et l’équipement sont présentés. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Cette étude a été menée conformément aux principes de la Déclaration d’Helsinki. Tous les participants ont été informés du but et de la sécurité de l’expérience et ont signé le formulaire de consentement éclairé avant la participation. Cette étude a été approuvée par le comité d’examen institutionnel de l’Université des sciences et technologies du Jiangsu.

1. Procédure expérimentale

1. Préparation de l’expérience
   1. Expliquez le consentement éclairé aux participants et demandez-leur de signer le formulaire de consentement.
   2. Effectuez un test de vision des couleurs sur les participants pour confirmer qu’ils ont une discrimination de couleur normale.
   3. Présentez 30 marques d’eau minérale aux participants et demandez-leur de choisir les marques qu’ils connaissent, pour s’assurer qu’ils ne connaissent pas les marques d’eau minérale utilisées dans l’expérience.
   4. Présenter la procédure de l’expérience aux participants.
   5. Mener une pré-expérience sur les participants utilisant des marques d’eau minérale autres que celles utilisées dans l’étude, et assurez-vous qu’ils sont familiers avec le RA et les opérations du site Web.
   6. Demandez à chaque participant du groupe A d’effectuer d’abord l’expérience AR, puis d’effectuer l’expérience de site Web. Demandez à chaque participant du groupe B d’effectuer d’abord l’expérience du site Web, puis d’effectuer l’expérience de RA.
2. Port d’instruments
   1. Sondes fNIRS
      1. Nettoyez la peau du front des participants avec du gel de préparation de la peau (voir le tableau des matériaux).
      2. Enveloppez les sondes (voir le tableau des matières) dans une pellicule de plastique pour les circonstances de transpiration. Fixez les sondes sur la position FP1 et FP2 selon le système international 10-20 avec un bandeau noir⁴⁵. Utilisez un bandana noir pour couvrir les sondes afin de les protéger contre la lumière ambiante et d’améliorer la qualité du signal.
      3. Nettoyez l’émetteur et le récepteur des sondes à l’aide d’un tampon d’alcool isopropylique à 70% après avoir terminé l’expérience.
   2. Eye tracker : Capturez les mouvements oculaires dans des environnements réels à l’aide de lunettes de suivi oculaire (voir le tableau des matériaux). Installez magnétiquement les verres de prescription sur la tête des lunettes de suivi oculaire (si nécessaire) et assurez-vous que les participants peuvent se déplacer librement avec une vue corrigée.
      REMARQUE: Étant donné que les lunettes de suivi oculaire ne sont pas conçues pour fonctionner en conjonction avec les lunettes standard, les participants qui portent des lunettes peuvent toujours être inclus dans l’étude en utilisant des lentilles de prescription facultatives pour corriger la myopie ou la myopie. Les participants peuvent également porter des lentilles cornéennes standard car, bien qu’elles puissent légèrement augmenter le bruit, elles n’introduisent normalement pas d’erreurs dans les données. Les participants ne peuvent pas utiliser de lentilles colorées ou autres qui modifient l’apparence de la pupille ou de l’iris.

2. Mesures

1. fNIRS
   1. Ouvrez le logiciel d’enregistrement (voir le tableau des matières). Connectez les sondes à un ordinateur portable via un adaptateur Bluetooth, puis enregistrez les changements de concentration d’hémoglobine oxygénée (O₂Hb) dans le cortex préfrontal des participants via l’ordinateur portable, avec une fréquence d’échantillonnage de 10 Hz.
   2. Vérifiez l’intensité lumineuse reçue et la qualité de l’indice de saturation tissulaire (TSI) pour contrôler la qualité des données. Assurez-vous que le signal reçu est situé entre 1% et 95%.
   3. Assurez-vous que les participants sont assis dans une position confortable sur une chaise et maintenez l’état de repos pendant 2 minutes pour recueillir des données de base avant l’expérience réelle.
   4. Cliquez sur le bouton Démarrer de l’interface du logiciel pour enregistrer les données fNIRS.
2. Suivi oculaire
   1. Configurez le matériel pour les lunettes de suivi oculaire. Connectez la fiche USB des lunettes de suivi oculaire à un port USB de l’ordinateur portable. Ouvrez le logiciel d’enregistrement (voir le tableau des matières) et réglez la fréquence d’échantillonnage sur 120 Hz.
   2. Étalonnage : Effectuez un étalonnage en un point. Demandez au participant de se concentrer sur un objet clairement identifiable dans son champ de vision à 0,6 m. Déplacez le curseur de réticule sur l’objet, où le participant est concentré dans la vidéo de scène et cliquez sur l’objet.
   3. Appuyez sur le bouton Enregistrer de l’interface du logiciel pour démarrer l’enregistrement.
3. Questionnaire et échelle: Présentez le questionnaire d’utilisabilité et l’échelle NASA-TLX aux participants après avoir terminé les tâches de la RA / site Web.

3. Analyse des données

1. Traitement des données fNIRS
   1. Convertir les valeurs de densité optique obtenues à partir du logiciel d’enregistrement fNIRS en concentrations (μmol) selon la loi de Beer-Lambert⁴⁶ modifiée.
   2. Filtrez les données brutes au passe-bas de 0,5 Hz pour éliminer les bruits systématiques tels que les battements cardiaques et la respiration.
   3. Vérifiez et corrigez les données pour les artefacts de mouvement en supprimant les segments de données qui dépassaient trois écarts-types au-dessus de l’ensemble de la série chronologique⁴⁷.
   4. Exportez les données fNIRS moyennes et maximales dans les conditions AR et site Web, puis soustrayez-les des données de référence.
2. Traitement des données de suivi oculaire
   1. Exportez la fréquence de fixation (nombre/s), le temps de fixation total (ms), le temps de fixation moyen (ms), la fréquence de saccade (nombre/s), le temps moyen de saccade (ms) et la longueur moyenne du chemin de balayage (px/s) des participants.
3. Analyse statistique
   1. Effectuer un test bilatéral à un niveau de signification de 0,05. Vérifiez la normalité des données à l’aide du test de Shapiro-Wilk et effectuez un test de différence. Effectuez plusieurs corrections de comparaison pour les valeurs p à l’aide de la méthode FDR (false discoveryrate).
      REMARQUE : Lors de l’exécution du test de différence, les données qui suivaient une distribution normale ont été analysées à l’aide d’un test t d’échantillons appariés, et les données qui ne suivaient pas une distribution normale ont été analysées à l’aide du test de rang signé Wilcoxon.

Les résultats représentatifs de cette étude comprennent les résultats du questionnaire d’utilisabilité, l’analyse des données de suivi oculaire, les données d’échelle NASA-TLX, l’analyse des données fNIRS et les changements dynamiques de la charge cognitive. Pour les résultats du questionnaire d’utilisabilité, une analyse des données de suivi oculaire, des données à l’échelle NASA-TLX et une analyse des données fNIRS, des tests de normalité et des tests de différences ont été effectués. Pour les changements dynamiques de la charge cognitive, cette étude a sélectionné les données fNIRS et de suivi oculaire d’un seul participant pour démontrer la validité de la mesure multimodale.

Résultats du questionnaire d’utilisabilité
Aucun des éléments du questionnaire sur la facilité d’utilisation ne suivait la distribution normale (tableau 2). La fiabilité de la RA et du site Web dans le questionnaire d’utilisabilité a été testée, et le score alpha de Cronbach a été jugé acceptable (alpha de Cronbach = 0,974).

Tableau 2 : Test de normalité du questionnaire d’utilisabilité. Aucun des éléments du questionnaire d’utilisabilité ne suivait la distribution normale. Les données ont été analysées à l’aide du test de classement signé Wilcoxon. Veuillez cliquer ici pour télécharger ce tableau.

Les scores de différence médiane du questionnaire d’utilisabilité entre AR et le site Web sont présentés dans le tableau 3. Les distributions de données des conditions de RA et de site Web sont illustrées à la figure 3. Une différence significative a été observée entre les conditions de RA et de site Web, les scores médians pour les EI étant plus élevés que ceux du site Web. Les résultats ont montré que les participants avaient une meilleure expérience utilisateur dans la condition AR que dans la condition de site Web.

Tableau 3 : Scores de différence médiane du questionnaire d’utilisabilité entre les conditions AR et celles du site Web. Les scores médians pour la RA étaient significativement plus élevés que ceux du site Web. Veuillez cliquer ici pour télécharger ce tableau.

Figure 3 : Répartition des données du questionnaire sur l’utilisabilité. Une illustration schématique de la distribution des données du questionnaire d’utilisabilité. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Analyse des données de suivi oculaire
Tous les indicateurs de suivi oculaire ont été testés pour la normalité, et les résultats sont présentés dans le tableau 4. Dans les tâches 1 et 3, seule la fréquence de fixation suivait la distribution normale, tandis que tous les autres indicateurs ne suivaient pas la distribution normale. Dans la tâche 2, la fréquence de fixation et la fréquence de saccade suivaient la distribution normale, mais les autres indicateurs ne suivaient pas la distribution normale. Pour la tâche 4, seule la fréquence de saccade suivait la distribution normale. Lors de la comparaison des différences entre les conditions du RA et du site Web, les données ont été rapportées séparément en fonction de la normalité / non-normalité. Le tableau 5 montre les différences dans les indicateurs de suivi oculaire entre les conditions du RA et celles du site Web dans la tâche 1 (qualité de l’eau). Il y avait des différences significatives dans tous les indicateurs de suivi oculaire entre les conditions du RA et du site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue dans l’état AR que dans l’état_de site Web (AR médian = 586,85, intervalle interquartile (IQR) = 482,55-714,6; Site_Web médian = 398,05, IQR = 362,775-445,275). Les autres indicateurs étaient significativement plus faibles dans l’état AR que dans l’état du site Web.

Tableau 4 : Test de normalité des indicateurs de suivi oculaire. Les données de suivi oculaire qui suivent une distribution normale ont été analysées à l’aide d’un test t d’échantillons appariés, et les données de suivi oculaire qui ne suivaient pas une distribution normale ont été analysées à l’aide du test de classement signé Wilcoxon. Veuillez cliquer ici pour télécharger ce tableau.

Tableau 5 : Différences dans les indicateurs de suivi oculaire entre AR et le site Web dans la tâche 1. Il y avait des différences significatives dans tous les indicateurs de suivi oculaire entre les conditions de RA et de site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue en RA qu’en condition de site Web_(AR médian = 586,85, intervalle interquartile (IQR) = 482,55-714,6; Site_Web médian = 398,05, IQR = 362,775-445,275). Les autres indicateurs étaient significativement plus faibles en RA qu’en état du site Web. Veuillez cliquer ici pour télécharger ce tableau.

Le tableau 6 montre les différences dans les indicateurs de suivi oculaire entre les conditions de RA et de site Web dans la tâche 2 (température de stockage). Tous les indicateurs de suivi oculaire ont montré des différences significatives entre les conditions de RA et de site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue dans la condition AR que dans la condition de site Web_(AR médian = 477,2, IQR = 398,675-596,575; Site_Web médian = 397,1, IQR = 353,35-451,075). Les autres indicateurs étaient significativement plus faibles dans l’état AR que dans l’état du site Web.

Tableau 6 : Différences dans les indicateurs de suivi oculaire entre le RA et le site Web dans la tâche 2. Il y avait des différences significatives dans tous les indicateurs de suivi oculaire entre les conditions du RA et du site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue en RA qu’en état_de site Web (AR médian = 477,2, IQR = 398,675-596,575 ; Site_Web médian = 397,1, IQR = 353,35-451,075). Les autres indicateurs étaient significativement plus faibles en RA qu’en état du site Web. Veuillez cliquer ici pour télécharger ce tableau.

Le tableau 7 montre les différences dans les indicateurs de suivi oculaire entre les conditions du RA et du site Web dans la tâche 3 (régime alimentaire correspondant). Il y avait des différences significatives dans tous les indicateurs de suivi oculaire entre les conditions du RA et du site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue dans la condition AR que dans la condition de site Web_(AR médian = 420,45, IQR = 352,275-467,8; Site_Web médian = 360,6, IQR = 295-399,075). Les autres indicateurs étaient significativement plus faibles dans l’état AR que dans l’état du site Web.

Tableau 7 : Différences dans les indicateurs de suivi oculaire entre AR et le site Web dans la tâche 3. Il y avait des différences significatives dans tous les indicateurs de suivi oculaire entre les conditions du RA et du site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue en RA qu’en condition de site Web_(AR médian = 420,45, IQR = 352,275-467,8; Site_Web médian = 360,6, IQR = 295-399,075). Les autres indicateurs étaient significativement plus faibles en RA qu’en état du site Web. Veuillez cliquer ici pour télécharger ce tableau.

Le tableau 8 montre les différences dans les indicateurs de suivi oculaire entre les conditions du RA et du site Web dans la tâche 4 (prix par litre). Il y avait des différences significatives dans tous les indicateurs de suivi oculaire entre les conditions du RA et du site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue dans la condition AR que dans la condition de site Web_(AR médian = 495,25, IQR = 404,8-628,65; Site_Web médian = 263,1, IQR = 235,45-326,2). Cependant, les autres indicateurs étaient significativement plus faibles dans l’état AR que dans l’état du site Web.

Tableau 8 : Différences dans les indicateurs de suivi oculaire entre le RA et le site Web dans la tâche 4. Il y avait des différences significatives dans tous les indicateurs de suivi oculaire entre les conditions du RA et du site Web, p < 0,001. La durée moyenne de fixation était significativement plus longue en RA qu’en état_de site Web (AR médian = 495,25, IQR = 404,8-628,65; Site_Web médian = 263,1, IQR = 235,45-326,2). Les autres indicateurs étaient significativement plus faibles en RA qu’en état du site Web. Veuillez cliquer ici pour télécharger ce tableau.

Pour les tâches de recherche visuelle, des indicateurs de suivi oculaire plus faibles ont été associés à une plus grande efficacité de la recherche d’informations (à l’exception de la durée moyenne de fixation). Prises ensemble, les données de suivi oculaire ont démontré que les participants avaient une plus grande efficacité de recherche d’informations lorsqu’ils utilisaient la RA que lorsqu’ils utilisaient le site Web.

Données à l’échelle NASA-TLX
Aucun des éléments de l’échelle NASA-TLX n’a suivi une distribution normale (tableau 9). Le score alpha de Cronbach a été jugé acceptable (alpha de Cronbach = 0,924).

Tableau 9 : Test de normalité de l’échelle NASA-TLX. Aucun des éléments de l’échelle NASA-TLX n’a suivi une distribution normale. Les données ont été analysées à l’aide du test de classement signé Wilcoxon. Veuillez cliquer ici pour télécharger ce tableau.

Les scores de différence médiane de l’échelle NASA-TLX entre les conditions de RA et de site Web sont présentés dans le tableau 10. Les distributions de données des conditions de RA et de site Web sont illustrées à la figure 4. Une différence significative a été observée entre les conditions de RA et de site Web. Les scores de l’échelle NASA-TLX de la condition AR étaient inférieurs à ceux de la condition du site Web, ce qui indique que la technique AR a conduit à une charge cognitive inférieure à celle du site Web.

Tableau 10 : Scores de différence médians de l’échelle NASA-TLX entre la RA et le site Web. Les scores de l’échelle NASA-TLX de la condition AR étaient significativement inférieurs à ceux de la condition du site Web. Veuillez cliquer ici pour télécharger ce tableau.

Figure 4 : Distribution des données de l’échelle NASA-TLX. Une illustration schématique de la distribution des données de l’échelle NASA-TLX. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Analyse des données fNIRS
Les valeurs moyennes de O₂Hb ont été testées pour la normalité, et les résultats sont présentés dans le tableau 11. Lors de la comparaison des différences entre les conditions du RA et du site Web, les données ont été rapportées séparément en fonction de la normalité ou de la non-normalité. Les différences dans la moyenne de O₂Hb entre les conditions du RA et celles du site Web sont présentées au tableau 12. Il y avait des différences significatives entre les deux conditions lorsque les participants ont effectué la tâche 1 (p ajusté = 0,002), la tâche 3 (p ajusté = 0,007) et la tâche 4 (p ajusté < 0,001). La moyenne O₂Hb des tâches effectuées dans l’état AR était significativement plus faible que dans l’état de site Web (tâche 1 : AR moyen = -1,012,_AR SD = 0,472, site Web moyen = 0,63, site_Web SD = 0,529; Tâche 3_{: EI moyen} = -0,386, EI écart-type = 0,493, site_Web moyen = 1,12,_EI SD = 0,554; Tâche 4_{: EI moyen} = -0,46, EI écart-type = 0,467,_{site Web} moyen = 2,27,_EI SD = 0,576). Lors de l’exécution de la tâche 2, les différences entre les conditions du RA et du site Web n’ont pas atteint un niveau significatif (p ajusté = 0,154 > 0,05). Ces résultats indiquent que les participants avaient une charge cognitive plus faible lorsqu’ils utilisaient la technique de RA que lorsqu’ils utilisaient le site Web.

Tableau 11 : Test de normalité de la moyenne O₂Hb. Les données fNIRS qui suivent une distribution normale ont été analysées à l’aide d’un test t d’échantillons appariés, et les données fNIRS qui ne suivaient pas une distribution normale ont été analysées à l’aide du test de rang signé Wilcoxon. Veuillez cliquer ici pour télécharger ce tableau.

Tableau 12 : Différences dans la moyenne de O₂Hb entre le RA et le site Web.  Il y avait des différences significatives entre les deux conditions lorsque les participants effectuaient la tâche 1 (p ajusté = 0,002), la tâche 3 (p ajusté = 0,007) et la tâche 4 (p ajusté < 0,001). La moyenne O₂Hb des tâches effectuées dans l’état AR était significativement plus faible que dans l’état de site Web (tâche 1 : AR moyen = -1,012,_AR SD = 0,472, site Web moyen = 0,63, site_Web SD = 0,529; Tâche 3_{: EI moyen} = -0,386, EI écart-type = 0,493, site_Web moyen = 1,12,_EI SD = 0,554; Tâche 4_{: EI moyen} = -0,46, EI écart-type = 0,467,_{site Web} moyen = 2,27,_EI SD = 0,576). Lors de l’exécution de la tâche 2, les différences entre les conditions de RA et de site Web n’ont pas atteint un niveau significatif (p ajusté = 0,154 > 0,05). Veuillez cliquer ici pour télécharger ce tableau.

Changements dynamiques de la charge cognitive
La figure 5 montre les changements dans la concentration de O₂Hb lorsqu’un participant a effectué la tâche 4 dans l’état du site Web. Au point 1, le participant avait de la difficulté à calculer le prix au litre. Le processus de recherche intense a induit une augmentationde la concentration d’O2 Hb, ce qui indique une augmentation de la charge instantanée. Lorsque le participant a reçu un indice, la concentration de O 2 Hb a chuté au point₂, et la charge instantanée a atteint une valeur de vallée à ce moment-là. Le participant a ensuite commencé à travailler dur pour calculer le prix par litre et a voulu terminer la tâche dès que possible. Dans ce contexte, la concentration d’O2 Hb a continué d’augmenter et a atteint un maximum (point 3). En résumé, la mesure multimodale de l’eye tracking et du fNIRS pourrait mesurer efficacement les changements dynamiques de la charge cognitive tout en interagissant avec les systèmes d’information et peut également examiner les différences individuelles dans le comportement des consommateurs.

Figure 5 : charge instantanée fNIRS. Une illustration schématique des changements de charge cognitive dynamique à l’aide de la charge instantanée fNIRS. Veuillez cliquer ici pour voir une version agrandie de cette figure.

En prenant comme exemples les quatre tâches de RA intégrées dans l’IoT, cette étude a combiné les approches NeuroIS avec des méthodes d’évaluation subjectives. Les résultats expérimentaux suggèrent que : (1) pour le questionnaire d’utilisabilité, les participants ont eu une meilleure évaluation subjective dans la condition AR que dans l’état du site Web (tableau 3 et figure 3); (2) pour les données de suivi oculaire, les participants avaient une plus grande efficacité de recherche d’information lorsqu’ils utilisaient l’EI que lorsqu’ils utilisaient le site Web (tableau 5, tableau 6, tableau 7 et tableau 8); (3) pour les données à l’échelle NASA-TLX et les données fNIRS, la technique AR a conduit à une charge cognitive inférieure à celle du site Web (tableaux 10 et 12); et (4) pour la charge cognitive dynamique, la mesure multimodale du suivi oculaire et du fNIRS pourrait mesurer efficacement les changements dynamiques de la charge cognitive tout en interagissant avec les systèmes d’information, et pourrait également examiner les différences individuelles dans le comportement des consommateurs (Figure 5). En comparant les différences dans les données de neuroimagerie, les données physiologiques et les données autodéclarées à l’aide du questionnaire d’utilisabilité et de l’échelle NASA-TLX entre les conditions AR et le site Web, la technique AR pourrait promouvoir l’efficacité de la recherche d’informations et réduire la charge cognitive pendant le processus d’achat. Ainsi, en tant que technologie émergente de vente au détail, la RA pourrait améliorer efficacement l’expérience utilisateur des consommateurs et, à son tour, augmenter leur intention d’achat.

Figure supplémentaire 1 : Capture d’écran de l’information affichée sur l’application de RA utilisée dans l’étude. Veuillez cliquer ici pour télécharger ce fichier.

Figure supplémentaire 2 : Capture d’écran de l’information affichée sur le site Web utilisé dans l’étude. Veuillez cliquer ici pour télécharger ce fichier.

Étapes critiques du protocole
Au cours de l’expérience, plusieurs étapes ont été envisagées pour assurer la fiabilité des résultats. Tout d’abord, les participants qui connaissent les marques d’eau minérale utilisées dans l’expérience ont été exclus, car ces participants auraient effectué la tâche en fonction de leur connaissance de la marque. Deuxièmement, les participants ont effectué une pré-expérience en utilisant d’autres marques d’eau minérale, qui a été utilisée pour s’assurer que les participants étaient familiers avec les opérations de RA et de site Web. Troisièmement, lors du port de sondes fNIRS, un bandana noir a été utilisé pour couvrir les sondes afin de protéger les sondes contre la lumière ambiante et d’améliorer la qualité du signal. Quatrièmement, les participants portant des lentilles de contact n’étaient pas autorisés à utiliser des lentilles colorées ou autres qui modifieraient l’apparence de la pupille ou de l’iris. Cinquièmement, avant l’expérience réelle, les participants devaient s’asseoir dans une position confortable sur une chaise et maintenir un état de repos pendant 2 minutes pour recueillir des données de base, qui ont été utilisées pour la correction de base des données fNIRS⁴⁷.

Modifications et dépannage
Le paradigme expérimental proposé dans cette étude peut être étendu à des applications commerciales réelles. Le plus grand défi dans l’application des méthodes de neurosciences cognitives aux problèmes commerciaux est la validité écologique^48,49. Le protocole expérimental utilisant l’imagerie mobile cerveau/corps a démontré la faisabilité de résoudre ce problème⁵⁰. Krampe et coll. ont utilisé des fNIRS portables pour étudier le comportement des consommateurs dans un scénario réaliste d’épicerie et ont présenté le concept de « neuroscience de l’acheteur »⁵¹. Les approches multimodales améliorent grandement la validité écologique. En appliquant des lunettes fNIRS portables et des lunettes de suivi oculaire, cette étude est la première à examiner les expériences des consommateurs en utilisant différents modes de recherche d’informations devant une étagère de produits. Grâce à l’expérience, cette étude étend la portée de la recherche de NeuroIS aux scénarios de vente au détail et de magasinage et permet aux chercheurs de mieux comprendre les processus cognitifs. Il convient de noter que dans le contexte des achats réels, les mesures fNIRS sont susceptibles d’être influencées par le décalage de position et la lumière ambiante. Par conséquent, il est recommandé d’utiliser des bandages, des rubans et / ou des sangles pour bien attacher les sondes aux participants et d’utiliser un tissu noir pour couvrir le tissu et l’appareil afin d’éviter l’effet de toute lumière ambiante.

Limites de la technique
Il y a certaines limites à l’expérience. Tout d’abord, étant donné qu’un eye tracker a été utilisé dans l’expérience, les participants présentant une myopie et un astigmatisme élevés ont été exclus de l’expérience. Dans ce cas, le protocole ne peut pas être utilisé pour les personnes aveugles ou malvoyantes. Deuxièmement, cette étude n’examine que les expériences sensorielles visuelles. Les expériences futures pourraient s’étendre à d’autres canaux sensoriels, tels que l’ouïe et le toucher. Troisièmement, cette étude n’examine que les techniques de RA, d’autres technologies émergentes devraient être évaluées en utilisant le même paradigme expérimental dans les études futures.

Importance par rapport aux méthodes existantes
L’importance de cette étude se reflète dans deux aspects. Premièrement, des approches multimodales ont été utilisées pour l’évaluation objective de la facilité d’utilisation. Comme le montre la figure 5, étant donné que l’eye tracker enregistrait simultanément des vidéos du point de vue des participants pendant le processus d’achat, il était facile pour les chercheurs de faire correspondre le scénario d’achat aux données fNIRS. Par conséquent, cette technique expérimentale utilisant des approches multimodales présente non seulement l’avantage d’une mesure continue en temps réel avec une validité écologique élevée, mais combine également les avantages de différentes techniques pour identifier les changements dynamiques dans les scénarios d’achat. Cette étude a fourni une méthode de test d’utilisabilité efficace pour les fabricants de produits afin d’améliorer la conception des produits, les détaillants pour optimiser la disposition des produits en rayon et les consommateurs pour améliorer l’expérience utilisateur. Deuxièmement, cette étude proposait une méthode de test d’utilisabilité combinant des évaluations objectives et subjectives. Certains chercheurs ont révélé que les méthodes d’auto-évaluation peuvent souffrir d’un biais de méthode commun (CMB)^52,53. Étant donné que les mesures issues des neurosciences cognitives sont généralement moins sensibles aux biais subjectifs, aux biais de désirabilité sociale et aux effets de la demande, ces données d’évaluation objectives pourraient compléter les données d’évaluation subjectives et renforcer la robustesse du résultat expérimental^25,34. Liang et al. ont utilisé des méthodes EEG et d’auto-évaluation pour étudier la relation entre la qualité du site Web et la satisfaction des utilisateurs par le biais d’une expérience sur l’expérience de flux. Les résultats ont indiqué que la méthode des neurosciences cognitives réduit le CMB⁵³. Dans cette étude, la combinaison d’évaluations objectives et subjectives a démontré que (1) les consommateurs préféraient une condition d’achat AR basée sur une évaluation subjective; (2) la technique AR a favorisé l’efficacité et la convivialité de la recherche visuelle basée sur les données de suivi oculaire; (3) la technique AR a réduit la charge cognitive des consommateurs et amélioré leur expérience utilisateur sur la base des données de l’échelle fNIRS et NASA-TLX; et (4) combiné avec les informations vidéo enregistrées par le suivi oculaire, il a permis d’examiner les différences individuelles et de mieux comprendre les différences d’état dans le comportement des consommateurs.

Applications futures
Cette étude propose un paradigme expérimental pour les tests d’utilisabilité des technologies émergentes dans un SIG. Un test d’utilisabilité est utilisé pour évaluer l’expérience utilisateur des technologies émergentes dans les interactions homme-machine⁵⁴. Comme les technologies émergentes (p. ex., la réalité augmentée, la réalité virtuelle, l’intelligence artificielle, la technologie portable, la robotique et les mégadonnées) sont de plus en plus utilisées dans un SIG, le paradigme expérimental d’un test d’utilisabilité peut être utilisé pour vérifier les avantages techniques des technologies émergentes sur l’expérience utilisateur à l’avenir.

En conclusion, cette étude propose un paradigme expérimental combinant des évaluations subjectives et objectives dans un SIG, qui peut évaluer efficacement l’utilisabilité des technologies émergentes telles que la RA.

Les auteurs n’ont rien à divulguer.

Cette étude a été financée par le Projet de recherche en philosophie et en sciences sociales du Département provincial de l’éducation du Jiangsu (2018SJA1089), la bourse du gouvernement du Jiangsu pour les études à l’étranger (JS-2018-262), la Fondation des sciences naturelles de la province du Zhejiang (LY19G020018) et la Fondation nationale des sciences naturelles de Chine (NSFC) (72001096).