Юзабилити-оценка дополненной реальности: исследование нейроинформационных систем

В этом исследовании представлена экспериментальная парадигма юзабилити-теста, сочетающая субъективные и объективные оценки. При объективной оценке использовались методы нейроинформационных систем (NeuroIS), а при субъективной оценке — анкета юзабилити и шкала NASA-Task Load Index (NASA-TLX).

В этом исследовании представлена экспериментальная парадигма для тестирования удобства использования новых технологий в информационной системе управления (MIS). Юзабилити-тест включал в себя как субъективные, так и объективные оценки. Для субъективной оценки были приняты анкета юзабилити и шкала NASA-TLX. Для объективной оценки использовались методы нейроинформационных систем (НейроИС). С точки зрения NeuroIS, в этом исследовании использовались мобильные fNIRS и очки слежения за глазами для мультимодальных измерений, что решило проблему экологической обоснованности инструментов когнитивной нейробиологии, используемых в реальных поведенческих экспериментах. В этом исследовании в качестве экспериментального объекта использовалась дополненная реальность (AR), интегрированная в Интернет вещей (IoT). Сравнивая различия в данных нейровизуализации, физиологических данных, опроснике юзабилити и данных шкалы NASA-TLX между двумя режимами поиска информации (AR против веб-сайта), поиск информации с помощью AR имел более высокую эффективность и меньшую когнитивную нагрузку по сравнению с поиском информации с помощью веб-сайта в процессе принятия решений о потреблении. Результаты юзабилити-эксперимента показывают, что AR, как новая технология в розничной торговле, может эффективно улучшить потребительский опыт и повысить их покупательское намерение. Экспериментальная парадигма, сочетающая как субъективные, так и объективные оценки в этом исследовании, может быть применена к тесту юзабилити для новых технологий, таких как дополненная реальность, виртуальная реальность, искусственный интеллект, носимые технологии, робототехника и большие данные. Он обеспечивает практическое экспериментальное решение для пользовательского опыта в человеко-компьютерных взаимодействиях с внедрением новых технологий.

Шесть передовых технологий, которые взаимодействуют с потребителями, обычно представленные дополненной реальностью, виртуальной реальностью, искусственным интеллектом, носимыми технологиями, робототехникой и большими данными, меняют многие теоретические модели потребительского поведения¹. Дополненная реальность (AR) — это новая технология, которая может улучшить потребительский опыт и повысить их удовлетворенность. Он накладывает текстовую информацию, изображения, видео и другие виртуальные элементы на реальные сценарии, чтобы объединить виртуальность и реальность, тем самым улучшая информацию в реальном мире посредством объяснения, руководства, оценки и прогнозирования². AR обеспечивает новый вид взаимодействия человека с компьютером, создавая для потребителей захватывающий опыт покупок, и привел к разработке множества приложений ^3,4. Тем не менее, потребительское принятие услуг дополненной реальности по-прежнему минимально, и поэтому многие компании с осторожностью относятся к внедрению технологии дополненной реальности ^5,6. Модель принятия технологий (TAM) широко используется для объяснения и прогнозирования поведения внедрения новых информационных технологий ^7,8. Согласно TAM, намерение внедрить новую технологию во многом зависит от ее удобства использования⁹. Таким образом, возможное объяснение медленного принятия потребителями услуг AR с точки зрения TAM может быть связано с удобством использования новых методов, что подчеркивает необходимость оценки удобства использования AR при совершении покупок^10,11.

Юзабилити определяется как эффективность, результативность и удовлетворенность достижением определенных целей в определенном контексте указанными пользователями¹². В настоящее время существует два основных метода оценки юзабилити: субъективные и объективные оценки¹³. Субъективные оценки основываются главным образом на методах самоотчета с использованием вопросников и шкал. Следуя этому направлению исследования, опросник, использованный в данном исследовании, включал пять признаков, связанных с режимом поиска информации для достижения цели: (1) эффективность, (2) простота использования, (3) запоминаемость (легко запоминается), (4) удовлетворенность (режим поиска информации удобен и приятен) и (5) обобщаемость на другие объекты^14,15,16. Кроме того, когнитивная нагрузка, представляющая собой нагрузку при выполнении конкретной задачи на когнитивную систему учащегося¹⁷, является еще одним основным показателем юзабилити^18,19. Таким образом, в этом исследовании дополнительно использовался индекс нагрузки задач НАСА (NASA-TLX^)13,20 в качестве субъективной метрики для измерения когнитивной нагрузки при совершении покупок с использованием дополненной реальности по сравнению с покупками с использованием сервисов веб-сайтов. Следует отметить, что методы самоотчета основаны на способности и готовности людей точно сообщать о своем отношении и/или предыдущем поведении²¹, оставляя открытой возможность для неправильного сообщения, занижения или предвзятости. Таким образом, объективные показатели могут стать ценным дополнением к традиционным субъективным методам²².

Для объективной оценки юзабилити AR используются методы нейроинформационных систем (NeuroIS). NeuroIS, придуманный Димокой и др. на конференции ICIS 2007 года, привлекает все большее внимание в области информационных систем (ИС)²³. NeuroIS использует теории и инструменты когнитивной нейробиологии, чтобы лучше понять разработку, внедрение и влияние технологий ИБ^24,25. На сегодняшний день инструменты когнитивной нейробиологии, такие как функциональная магнитно-резонансная томография (МРТ), электроэнцефалограмма (ЭЭГ), позитронно-эмиссионная компьютерная томография, магнитоэнцефалография (МЭГ) и функциональная ближняя инфракрасная спектроскопия (fNIRS), широко используются в исследованиях NeuroIS^26,27. Например, Димока и Дэвис использовали фМРТ для измерения активаций испытуемых, когда они взаимодействовали с веб-сайтом, и показали, что воспринимаемая простота использования влияет на активацию в префронтальной коре (ПФК)²⁸. Аналогичным образом, используя ЭЭГ, Moridis et al. обнаружили, что лобная асимметрия тесно связана с полезностью²⁹. Эти результаты указывают на то, что PFC может играть ключевую роль в удобстве использования.

Несмотря на то, что в предыдущих исследованиях NeuroIS были достигнуты успехи, парадигмы, используемые в этих исследованиях, ограничивали движения тела субъектов с низкой экологической достоверностью, ограничивая их теоретический и практический вклад. Взаимодействие с такими технологиями, как дополненная реальность, во время покупок требует свободных движений тела, а предметные ограничения в значительной степени ухудшают потребительский опыт, как обсуждалось в He et ^al.22. Таким образом, инструменты визуализации мозга с высокой экологической достоверностью необходимы для юзабилити-теста информационных систем. В этом отношении fNIRS обладает уникальными техническими преимуществами: во время экспериментов fNIRS испытуемые могут в некоторой степени свободно перемещаться³⁰ . Например, в предыдущих исследованиях измерялась активация мозга испытуемых во время нескольких мероприятий на свежем воздухе, таких как езда на велосипеде с использованием портативного fNIRS³¹. Кроме того, fNIRS является недорогим и позволяет измерять активацию мозга в течение длительных периодов времени³². В этом исследовании fNIRS использовался для объективного измерения уровня когнитивной нагрузки испытуемых при использовании торговых сервисов AR по сравнению с веб-сайтом.

Отслеживание взгляда было ценным психофизиологическим методом для определения зрительного внимания пользователей во время юзабилити-теста в последние годы³³, а также широко использовалось в исследованиях NeuroIS³⁴. Этот метод опирается на гипотезу «глаз-разум», которая предполагает, что фокус наблюдателя направлен туда, куда направлено внимание, что визуальное внимание представляет собой умственный процесс и что паттерны визуального внимания отражают когнитивные стратегии человека^35,36,37. В области исследований дополненной реальности Янг и др. использовали отслеживание взгляда, чтобы обнаружить, что реклама дополненной реальности улучшает отношение потребителей к рекламе, повышая их любопытство и внимание³⁸. В текущем исследовании отслеживание глаз использовалось для измерения внимания испытуемых, включая такие параметры, как общая продолжительность фиксации, средняя продолжительность фиксации, частота фиксации, частота саккады, средняя продолжительность саккады и средняя длина пути сканирования.

Таким образом, в этом исследовании предлагается метод юзабилити-теста, который сочетает в себе субъективные и объективные оценки с приложениями AR в качестве примера. Для субъективной оценки использовались анкета юзабилити и шкала NASA-TLX, а для объективной оценки использовались мультимодальные показатели, сочетающие fNIRS и айтрекинг^39,40.

Экспериментальный дизайн
Экспериментальные материалы: Чтобы имитировать реальный торговый контекст, в лаборатории была построена полка с продуктами, а две разные марки минеральной воды были размещены на полке в качестве экспериментальных материалов. В качестве товаров первой необходимости минеральная вода была выбрана потому, что у участников не было бы предвзятости в субъективных оценках на основе их профессионального происхождения, пола и покупательской способности. Цена, емкость и узнаваемость брендов контролировались (см. Таблицу материалов), чтобы исключить вмешательство нерелевантных переменных.

Юзабилити-тест включал в себя два условия: приложение дополненной реальности на базе смартфона (дополнительный рисунок 1) и веб-сайт (дополнительный рисунок 2). Приложение AR было запрограммировано на основе движка AR. Веб-сайт был разработан с использованием Python на основе Bootstrap для внешнего интерфейса и Flask для серверной части. Приложение AR и веб-сайт запускались и просматривались на смартфоне. Среди двух разных марок минеральной воды одна использовалась в качестве экспериментального материала в условиях AR, а другая использовалась в условиях веб-сайта.

Экспериментальные задачи: Участникам было предложено выполнить четыре задачи по поиску информации, которые были получены из контекстов приложений IoT: качество воды, температура хранения, соответствующая диета и цена за литр. Эти четыре элемента информации - это то, на что потребители обычно обращают внимание, когда покупают минеральную воду. У участников не было ограничений по времени для выполнения заданий.

Качество воды: Качество минеральной воды обычно включает в себя два показателя: общее количество растворенных твердых веществ (TDS) и значение pH. TDS отражает содержание минералов, а значение pH описывает кислотность/щелочность воды. Эти два показателя связаны с микроэлементами, содержащимися в минеральной воде, и влияют на вкусовые качества. Например, Брувольд и Онгерт разделили органолептическое качество воды на пять классов в соответствии с содержанием TDS⁴¹. Marcussen et al. обнаружили, что вода обладает хорошими органолептическими качествами в диапазоне 100-400 мг/л TDS⁴². Значения TDS и pH двух марок минеральной воды, использованных в этом исследовании, были измерены с помощью TDS и pH-метров соответственно, а затем отмечены в приложении AR и на веб-сайте. При выполнении задания участники должны были сообщить значения TDS и pH минеральной воды и подтвердить, находятся ли эти значения в пределах номинального диапазона. В состоянии дополненной реальности участники могли получить эту информацию, сканируя бутылку с водой. В условиях веб-сайта участники должны были выполнить четыре шага: (1) найти числовой код на обратной стороне бутылки минеральной воды, (2) ввести числовой код в поле запроса для получения значений TDS и pH для минеральной воды, (3) поиск номинального диапазона минеральной воды на веб-сайте и (4) устное сообщение о том, находятся ли TDS и значение pH в пределах номинального диапазона для продукта.

Температура хранения: Качество минеральной воды может снизиться при транспортировке и хранении из-за изменения температуры. Эксперименты показали, что подходящая температура минеральной воды составляет от 5 ° C до 25 ° C во время транспортировки и хранения. В этом диапазоне температур вода не имеет неприятного запаха⁴³. В настоящем эксперименте температура хранения двух типов минеральной воды в разных местах была отмечена в приложении AR и на веб-сайте. При выполнении задания участники должны были сообщить место хранения и соответствующую температуру воды. В состоянии дополненной реальности участники могли получить эту информацию, сканируя бутылку с водой. В условиях веб-сайта участники могли получить эту информацию, введя числовой код в поле запроса.

Подходящая диета: Минеральная вода разных марок подходит для разных меню благодаря своему уникальному минеральному составу и содержанию пузырьков⁴⁴. В настоящем эксперименте диетические рекомендации для двух минеральных вод были отмечены в приложении AR и на веб-сайте. Во время выполнения задания участники должны были сообщить, насколько минеральная вода сочетается с едой в меню. В состоянии дополненной реальности участники могли получить эту информацию, сканируя бутылку с водой. В условиях веб-сайта участники могли искать эту информацию на веб-сайте.

Цена за литр: В настоящее время этикетки на бутылках с минеральной водой в Китае не отображают информацию о цене за литр. Из-за этого потребителям трудно различать разницу в удельных ценах на разные виды минеральной воды. Поэтому настоящий эксперимент требовал от участников сообщать цену за литр. В приложении дополненной реальности участники могли узнать цену за литр напрямую, отсканировав бутылку с водой. В состоянии веб-сайта информация может быть рассчитана по цене за единицу и объему на этикетке.

В этом исследовании использовался дизайн внутри участников с критериями включения и исключения участников, как описано в таблице 1. Всего в эксперименте приняли участие 40 человек (20 мужчин и 20 женщин, средний возраст = 21,31 ± 1,16 года). Все участники были студентами Цзянсуского университета науки и технологий и были случайным образом разделены на две группы (A и B). Чтобы избежать эффекта порядка, экспериментальный порядок был уравновешен между двумя группами (A / B). В частности, одна группа сначала выполнила условие AR, а затем условие веб-сайта, в то время как другая группа сначала выполнила условие веб-сайта, а затем условие AR. Участники должны были завершить подготовку к эксперименту, надеть приборы и выполнить экспериментальные задания. Интервал между экспериментами был установлен на 10 с, чтобы позволить активации коры вернуться к исходному уровню, избегая перекрестного влияния в последующей задаче. В конце эксперимента с AR/веб-сайтом участники должны были заполнить анкету юзабилити и шкалу NASA-TLX. Экспериментальная блок-схема показана на рисунке 1. Фотография экспериментальной установки представлена на рисунке 2.

Таблица 1: Критерии включения и исключения из исследования. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Рисунок 1: Экспериментальная блок-схема. Каждый эксперимент длился ~45 мин, с периодом отдыха 10 с между заданиями. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 2: Пример настройки экспериментальной сцены. Показаны экспериментальные материалы, участник и оборудование. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Это исследование было проведено в соответствии с принципами Хельсинкской декларации. Все участники были проинформированы о цели и безопасности эксперимента и подписали форму информированного согласия перед участием. Это исследование было одобрено институциональным наблюдательным советом Цзянсуского университета науки и технологий.

1. Порядок проведения эксперимента

1. Подготовка к эксперименту
   1. Объясните участникам информированное согласие и попросите их подписать форму согласия.
   2. Проведите тест цветового зрения участников, чтобы подтвердить, что у них нормальное различение цвета.
   3. Представьте участникам 30 марок минеральной воды и попросите их выбрать марки, с которыми они знакомы, чтобы убедиться, что они не знакомы с марками минеральной воды, используемой в эксперименте.
   4. Ознакомьте участников с процедурой эксперимента.
   5. Проведите предварительный эксперимент на участниках, использующих марки минеральной воды, отличные от тех, которые использовались в исследовании, и убедитесь, что они знакомы с AR и работой веб-сайта.
   6. Поручите каждому участнику из группы А сначала провести эксперимент с дополненной реальностью, а затем провести эксперимент с веб-сайтом. Попросите каждого участника из группы B сначала провести эксперимент с веб-сайтом, а затем провести эксперимент с дополненной реальностью.
2. Ношение инструментов
   1. Зонды fNIRS
      1. Очистите кожу лба участников гелем для подготовки кожи (см. Таблицу материалов).
      2. Заверните зонды (см. Таблицу материалов) в пищевую пленку на случай потоотделения. Зафиксируйте щупы в положении FP1 и FP2 по международной системе 10-20 с помощью черного оголовья⁴⁵. Используйте черную бандану, чтобы закрыть зонды, чтобы защитить их от окружающего света и улучшить качество сигнала.
      3. Очистите передатчик и приемник зондов с помощью прокладки из 70% изопропилового спирта после завершения эксперимента.
   2. Айтрекер: фиксируйте движение глаз в реальных условиях с помощью очков слежения за глазами (см. Таблицу материалов). Установите линзы по рецепту на головное устройство очков слежения за глазами с помощью магнита (при необходимости) и убедитесь, что участники могут свободно ходить с исправленным зрением.
      ПРИМЕЧАНИЕ: Поскольку очки для слежения за движением глаз не предназначены для работы в сочетании со стандартными очками, участники, которые носят очки, все равно могут быть включены в исследование с использованием дополнительных рецептурных линз для коррекции близорукости или дальнозоркости. Участники также могут носить стандартные контактные линзы, потому что, хотя они могут немного увеличить шум, они обычно не вносят ошибки в данные. Участники не могут использовать цветные или другие линзы, которые изменяют внешний вид зрачка или радужной оболочки.

2. Меры

1. fNIRS
   1. Откройте программное обеспечение для записи (см. Таблицу материалов). Подключите зонды к ноутбуку через адаптер Bluetooth, а затем запишите изменения концентрации оксигенированного гемоглобина (O₂Hb) в префронтальной коре участников через ноутбук с частотой дискретизации 10 Гц.
   2. Проверьте полученную интенсивность света и качество индекса насыщения тканей (TSI) для контроля качества данных. Убедитесь, что принимаемый сигнал находится в диапазоне от 1% до 95%.
   3. Убедитесь, что участники сидят в удобном положении на стуле и поддерживают состояние покоя в течение 2 минут, чтобы собрать исходные данные перед реальным экспериментом.
   4. Нажмите кнопку «Пуск » в программном интерфейсе, чтобы записать данные fNIRS.
2. Отслеживание взгляда
   1. Настройте аппаратное обеспечение для очков слежения за глазами. Подключите USB-штекер очков для отслеживания глаз к USB-порту ноутбука. Откройте программное обеспечение для записи (см. Таблицу материалов) и установите частоту дискретизации на 120 Гц.
   2. Калибровка: Выполните калибровку по одной точке. Попросите участника сфокусироваться на четко идентифицируемом объекте в поле зрения на расстоянии 0,6 м. Наведите курсор перекрестия на объект, на котором сфокусирован участник видео сцены и нажмите на объект.
   3. Нажмите кнопку «Запись » в программном интерфейсе, чтобы начать запись.
3. Анкета и шкала: Представьте участникам анкету юзабилити и шкалу NASA-TLX после того, как они выполнят задания AR/веб-сайта.

3. Анализ данных

1. Обработка данных fNIRS
   1. Преобразуйте значения оптической плотности, полученные с помощью программного обеспечения для записи fNIRS, в концентрации (мкмоль) в соответствии с модифицированным законом Бера-Ламберта⁴⁶.
   2. Фильтруйте необработанные данные на низких частотах 0,5 Гц, чтобы удалить систематические шумы, такие как сердцебиение и дыхание.
   3. Проверьте и исправьте данные на наличие артефактов движения, удалив сегменты данных, которые превысили три стандартных отклонения над всем временным рядом⁴⁷.
   4. Экспортируйте средние и максимальные данные fNIRS в условиях AR и веб-сайта, а затем вычтите их из базовых данных.
2. Обработка данных айтрекинга
   1. Экспортируйте частоту фиксации (количество/с), общее время фиксации (мс), среднее время фиксации (мс), частоту саккады (количество/с), среднее время саккады (мс) и среднюю длину пути сканирования (px/s) участников.
3. Статистический анализ
   1. Выполните двусторонний тест на уровне значимости 0,05. Проверьте нормальность данных с помощью теста Шапиро-Уилка и выполните разностный тест. Выполните несколько поправок сравнения для p-значений, используя метод частоты ложных обнаружений (FDR).
      ПРИМЕЧАНИЕ: При выполнении разностного теста данные, которые следовали нормальному распределению, анализировались с использованием t-критерия парных выборок, а данные, которые не соответствовали нормальному распределению, анализировались с использованием критерия ранга знака Уилкоксона.

Репрезентативные результаты этого исследования включают результаты анкеты юзабилити, анализ данных отслеживания взгляда, данные шкалы NASA-TLX, анализ данных fNIRS и динамические изменения когнитивной нагрузки. Для получения результатов анкеты юзабилити был проведен анализ данных айтрекинга, данные шкалы NASA-TLX и анализ данных fNIRS, тесты на нормальность и тесты различий. Для динамических изменений когнитивной нагрузки в этом исследовании были выбраны данные fNIRS и отслеживания глаз от одного участника, чтобы продемонстрировать достоверность мультимодального измерения.

Результаты анкеты юзабилити
Ни один из пунктов анкеты юзабилити не соответствовал нормальному распределению (табл. 2). Проверялась надежность AR и веб-сайта в анкете юзабилити, и альфа-оценка Кронбаха была признана приемлемой (альфа Кронбаха = 0,974).

Таблица 2: Тест на нормальность опросника юзабилити. Ни один из пунктов анкеты юзабилити не соответствовал нормальному распределению. Данные были проанализированы с помощью критерия ранга знака Уилкоксона. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Медианные баллы разницы в анкете юзабилити между AR и веб-сайтом приведены в таблице 3. Распределение данных AR и условий веб-сайта показано на рисунке 3. Существенная разница наблюдалась между AR и условиями веб-сайта, при этом медианные баллы для AR были выше, чем для веб-сайта. Результаты показали, что у участников был лучший пользовательский опыт в состоянии AR, чем в состоянии веб-сайта.

Таблица 3: Медианная разница в баллах анкеты юзабилити между AR и условиями веб-сайта. Средние баллы для AR были значительно выше, чем для веб-сайта. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Рисунок 3: Распределение данных анкеты юзабилити. Схематическая иллюстрация распределения данных анкеты юзабилити. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Анализ данных айтрекинга
Все показатели айтрекинга были проверены на нормальность, и результаты представлены в таблице 4. В задачах 1 и 3 только частота фиксации следовала нормальному распределению, в то время как все остальные показатели не соответствовали нормальному распределению. В задании 2 частота фиксации и частота саккады следовали нормальному распределению, но остальные показатели не соответствовали нормальному распределению. Для задачи 4 только саккадная частота следовала нормальному распределению. При сравнении различий между AR и условиями веб-сайта данные были представлены отдельно на основе нормальности/ненормальности. В таблице 5 показаны различия в показателях отслеживания глаз между AR и условиями веб-сайта в задаче 1 (качество воды). Выявлены значимые различия по всем показателям айтрекинга между AR и условиями сайта, p < 0,001. Средняя продолжительность фиксации в состоянии АР была достоверно больше, чем в состоянии сайта (медиана_АР = 586,85, межквартильный диапазон (МКР) = 482,55-714,6; Медианный_{веб-сайт} = 398,05, IQR = 362,775-445,275). Остальные показатели были значительно ниже в состоянии AR, чем в состоянии сайта.

Таблица 4: Тест на нормальность показателей слежения за глазами. Данные отслеживания взгляда, которые следуют нормальному распределению, были проанализированы с использованием парных выборок t-критерия, а данные отслеживания глаз, которые не соответствовали нормальному распределению, были проанализированы с использованием знака ранга Уилкоксона. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Таблица 5: Различия в показателях отслеживания глаз между AR и веб-сайтом в задаче 1. Выявлены значимые различия по всем показателям айтрекинга между AR и условиями веб-сайта, p < 0,001. Средняя продолжительность фиксации при АР была достоверно больше, чем при состоянии сайта (медиана_АР = 586,85, межквартильный диапазон (МКР) = 482,55-714,6; Медианный_{веб-сайт} = 398,05, IQR = 362,775-445,275). Остальные показатели в AR были значительно ниже, чем в состоянии сайта. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

В таблице 6 показаны различия в показателях отслеживания глаз между AR и условиями веб-сайта в задаче 2 (температура хранения). Все показатели айтрекинга показали значимые различия между AR и условиями веб-сайта, p < 0,001. Средняя продолжительность фиксации была значительно больше в состоянии AR, чем в состоянии веб-сайта (медиана_AR = 477,2, IQR = 398,675-596,575; Медианный_{веб-сайт} = 397,1, IQR = 353,35-451,075). Остальные показатели были значительно ниже в состоянии AR, чем в состоянии сайта.

Таблица 6: Различия в показателях отслеживания глаз между AR и веб-сайтом в задаче 2. Выявлены значимые различия по всем показателям айтрекинга между AR и условиями сайта, p < 0,001. Средняя продолжительность фиксации при АР была достоверно больше, чем в состоянии сайта (медиана_АР = 477,2, IQR = 398,675-596,575; Медианный_{веб-сайт} = 397,1, IQR = 353,35-451,075). Остальные показатели в AR были значительно ниже, чем в состоянии сайта. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

В таблице 7 показаны различия в показателях отслеживания глаз между AR и условиями веб-сайта в задаче 3 (соответствующая диета). Выявлены значимые различия по всем показателям айтрекинга между AR и условиями сайта, p < 0,001. Средняя продолжительность фиксации была значительно больше в состоянии AR, чем в состоянии веб-сайта (медиана_AR = 420,45, IQR = 352,275-467,8; Медианный_{веб-сайт} = 360,6, IQR = 295-399,075). Остальные показатели были значительно ниже в состоянии AR, чем в состоянии сайта.

Таблица 7: Различия в показателях отслеживания глаз между AR и веб-сайтом в задаче 3. Выявлены значимые различия по всем показателям айтрекинга между AR и условиями сайта, p < 0,001. Средняя продолжительность фиксации в АР была достоверно больше, чем в состоянии сайта (медиана_АР = 420,45, IQR = 352,275-467,8; Медианный_{веб-сайт} = 360,6, IQR = 295-399,075). Остальные показатели в AR были значительно ниже, чем в состоянии сайта. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

В таблице 8 показаны различия в показателях айтрекинга между AR и условиями веб-сайта в задаче 4 (цена за литр). Выявлены значимые различия по всем показателям айтрекинга между AR и условиями сайта, p < 0,001. Средняя продолжительность фиксации в состоянии АР была значительно больше, чем в состоянии веб-сайта (медиана_АР = 495,25, IQR = 404,8-628,65; Медианный_{веб-сайт} = 263,1, IQR = 235,45-326,2). Однако остальные показатели в состоянии AR были значительно ниже, чем в состоянии сайта.

Таблица 8: Различия в показателях отслеживания глаз между AR и веб-сайтом в задании 4. Выявлены значимые различия по всем показателям айтрекинга между AR и условиями сайта, p < 0,001. Средняя продолжительность фиксации в АР была достоверно больше, чем в состоянии сайта (медиана_АР = 495,25, IQR = 404,8-628,65; Медианный_{веб-сайт} = 263,1, IQR = 235,45-326,2). Остальные показатели в AR были значительно ниже, чем в состоянии сайта. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Для задач визуального поиска более низкие показатели айтрекинга ассоциировались с более высокой эффективностью поиска информации (за исключением средней продолжительности фиксации). Взятые вместе, данные айтрекинга показали, что участники имели более высокую эффективность поиска информации при использовании AR, чем при использовании веб-сайта.

Данные шкалы NASA-TLX
Ни один из пунктов шкалы NASA-TLX не соответствовал нормальному распределению (табл. 9). Альфа-оценка Кронбаха была признана приемлемой (альфа Кронбаха = 0,924).

Таблица 9: Тест на нормальность по шкале NASA-TLX. Ни один из элементов шкалы NASA-TLX не соответствовал нормальному распределению. Данные были проанализированы с помощью критерия ранга знака Уилкоксона. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Медианные баллы разницы по шкале NASA-TLX между AR и условиями веб-сайта представлены в таблице 10. Распределение данных AR и состояния веб-сайта показано на рисунке 4. Существенная разница наблюдалась между AR и условиями веб-сайта. Баллы по шкале NASA-TLX для состояния AR были ниже, чем для состояния веб-сайта, что указывает на то, что техника AR привела к более низкой когнитивной нагрузке, чем у веб-сайта.

Таблица 10: Медианные баллы разницы по шкале NASA-TLX между AR и веб-сайтом. Баллы по шкале NASA-TLX для состояния AR были значительно ниже, чем для состояния веб-сайта. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Рисунок 4: Распределение данных по шкале NASA-TLX. Схематическая иллюстрация распределения данных шкалы NASA-TLX. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Анализ данных fNIRS
Средние значения_O2Hb были проверены на нормальность, и результаты представлены в таблице 11. При сравнении различий между AR и условиями веб-сайта данные сообщались отдельно на основе нормальности/ненормальности. Различия в среднем значении O₂Hb между AR и условиями веб-сайта представлены в таблице 12. Были значительные различия между двумя условиями, когда участники выполняли задание 1 (скорректированное p = 0,002), задание 3 (скорректированное p = 0,007) и задание 4 (скорректированное p < 0,001). Среднее значение O₂Hb задач, выполненных в условиях AR, было значительно ниже, чем в условии веб-сайта (задание 1: среднее значение AR = -1,012, SD_AR = 0,472, среднее_{значение веб-сайта} = 0,63,_{веб-сайт} SD = 0,529; Задание 3: Среднее значение AR = -0,386, SD_AR = 0,493, среднее_{значение} веб-сайта = 1,12,_{SD-веб-сайт} = 0,554; Задание 4: Среднее значение AR = -0,46, SD_AR = 0,467, среднее_{значение} веб-сайта = 2,27,_{SD веб-сайт} = 0,576). При выполнении задания 2 различия между AR и условиями веб-сайта не достигли значимого уровня (скорректированное p = 0,154 > 0,05). Эти результаты показывают, что участники имели меньшую когнитивную нагрузку при использовании техники AR, чем при использовании веб-сайта.

Таблица 11: Тест на нормальность среднего значения O₂Hb. Данные fNIRS, которые следуют нормальному распределению, были проанализированы с использованием t-критерия парных выборок, а данные fNIRS, которые не соответствовали нормальному распределению, были проанализированы с использованием критерия ранга знака Уилкоксона. Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Таблица 12: Различия в среднем значении O₂Hb между AR и веб-сайтом.  Были значительные различия между двумя условиями, когда участники выполняли задание 1 (скорректированное p = 0,002), задание 3 (скорректированное p = 0,007) и задание 4 (скорректированное p < 0,001). Среднее значение O₂Hb задач, выполненных в условиях AR, было значительно ниже, чем в условии веб-сайта (задание 1: среднее значение AR = -1,012, SD_AR = 0,472, среднее_{значение веб-сайта} = 0,63,_{веб-сайт} SD = 0,529; Задание 3: Среднее значение AR = -0,386, SD_AR = 0,493, среднее_{значение} веб-сайта = 1,12,_{SD-веб-сайт} = 0,554; Задание 4: Среднее значение AR = -0,46, SD_AR = 0,467, среднее_{значение} веб-сайта = 2,27,_{SD веб-сайт} = 0,576). При выполнении задания 2 различия между AR и условиями веб-сайта не достигли значимого уровня (скорректированный p = 0,154 > 0,05). Пожалуйста, нажмите здесь, чтобы загрузить эту таблицу.

Динамические изменения когнитивной нагрузки
На рисунке 5 показаны изменения концентрации O₂Hb при выполнении участником задания 4 в условиях веб-сайта. В точке 1 у участника возникли проблемы с расчетом цены за литр. Интенсивный процесс поиска вызвал увеличение концентрации_O2Hb, что указывало на увеличение мгновенной нагрузки. Когда участник получал сигнал, концентрация_O2Hb падала до точки 2, и мгновенная нагрузка в этот момент достигала значения долины. Затем участник начал усердно работать над расчетом цены за литр и хотел выполнить задание как можно скорее. В этом контексте концентрация_O2Hb продолжала увеличиваться и достигла максимума (точка 3). Таким образом, мультимодальное измерение айтрекинга и fNIRS может эффективно измерять динамические изменения когнитивной нагрузки при взаимодействии с информационными системами, а также может исследовать индивидуальные различия в поведении потребителей.

Рисунок 5: Мгновенная нагрузка fNIRS. Схематическая иллюстрация динамических изменений когнитивной нагрузки с помощью мгновенной нагрузки fNIRS. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Взяв в качестве примеров четыре задачи AR, интегрированные в IoT, это исследование объединило подходы NeuroIS с субъективными методами оценки. Экспериментальные результаты показали, что: (1) для анкеты юзабилити участники имели лучшую субъективную оценку в состоянии AR, чем в состоянии веб-сайта (таблица 3 и рисунок 3); (2) что касается данных отслеживания взгляда, участники имели более высокую эффективность поиска информации при использовании AR, чем при использовании веб-сайта (Таблица 5, Таблица 6, Таблица 7 и Таблица 8); (3) для данных шкалы NASA-TLX и данных fNIRS метод AR привел к более низкой когнитивной нагрузке, чем у веб-сайта (таблица 10 и таблица 12); и (4) для динамической когнитивной нагрузки мультимодальное измерение отслеживания глаз и fNIRS может эффективно измерять динамические изменения когнитивной нагрузки при взаимодействии с информационными системами, а также может исследовать индивидуальные различия в поведении потребителей (рис. 5). Сравнивая различия в данных нейровизуализации, физиологических данных и данных самооценки с использованием опросника юзабилити и шкалы NASA-TLX между условиями AR и веб-сайта, метод AR может повысить эффективность поиска информации и снизить когнитивную нагрузку в процессе покупки. Таким образом, как новая розничная технология, AR может эффективно улучшить пользовательский опыт потребителей и, в свою очередь, может увеличить их намерение совершить покупку.

Дополнительный рисунок 1: Скриншот информации, отображаемой в приложении AR, используемом в исследовании. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок 2: Скриншот информации, отображаемой на веб-сайте, используемом в исследовании. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Критические шаги в протоколе
В ходе эксперимента было рассмотрено несколько этапов для обеспечения достоверности результатов. Во-первых, участники, которые знакомы с марками минеральной воды, используемой в эксперименте, были исключены, потому что эти участники выполнили бы задание, основываясь на своих знаниях о марке. Во-вторых, участники завершили предварительный эксперимент с использованием минеральной воды других марок, который был использован для того, чтобы участники были знакомы с AR и работой веб-сайта. В-третьих, при ношении пробников fNIRS использовалась черная бандана, чтобы защитить датчики от окружающего света и улучшить качество сигнала. В-четвертых, участникам, носящим контактные линзы, не разрешалось использовать цветные или другие линзы, которые могли бы изменить внешний вид зрачка или радужной оболочки. В-пятых, перед реальным экспериментом участники должны были сидеть в удобной позе на стуле и поддерживать состояние покоя в течение 2 минут для сбора исходных данных, которые использовались для базовой коррекции данных^{fNIRS 47}.

Модификации и устранение неполадок
Экспериментальная парадигма, предложенная в этом исследовании, может быть распространена на реальные коммерческие приложения. Самой большой проблемой в применении методов когнитивной нейробиологии к бизнес-проблемам является экологическая валидность^48,49. Экспериментальный протокол с использованием мобильной визуализации мозга/тела продемонстрировал возможность решения этой проблемы⁵⁰. Крампе и др. использовали портативный fNIRS для изучения поведения потребителей в реалистичном сценарии покупки продуктов питания и представили концепцию «неврологии покупателя»⁵¹. Мультимодальные подходы значительно улучшают экологическую достоверность. Применяя портативные очки fNIRS и очки для отслеживания глаз, это исследование является первым, в котором изучается потребительский опыт с использованием различных режимов поиска информации перед полкой продукта. Благодаря эксперименту это исследование расширяет сферу исследований NeuroIS на сценарии розничной торговли и покупок и позволяет исследователям лучше понять когнитивные процессы. Следует отметить, что в контексте реальных покупок на измерения fNIRS, вероятно, будут влиять смещение положения и освещение окружающей среды. Поэтому рекомендуется использовать бинты, ленты и/или ремни, чтобы хорошо прикрепить зонды к участникам, и использовать черную ткань для покрытия ткани и устройства, чтобы избежать воздействия любого света окружающей среды.

Ограничения методики
У эксперимента есть некоторые ограничения. Во-первых, поскольку в эксперименте использовался айтрекер, участники с высокой близорукостью и астигматизмом были исключены из эксперимента. В этом случае протокол не может быть использован для незрячих или слабовидящих людей. Во-вторых, в этом исследовании рассматриваются только визуальные сенсорные переживания. Будущие эксперименты могут распространиться на другие сенсорные каналы, такие как слух и осязание. В-третьих, в этом исследовании рассматриваются только методы дополненной реальности, другие новые технологии должны оцениваться с использованием той же экспериментальной парадигмы в будущих исследованиях.

Значимость по отношению к существующим методам
Значимость данного исследования отражается в двух аспектах. Во-первых, для объективной оценки юзабилити использовались мультимодальные подходы. Как показано на рисунке 5, поскольку айтрекер одновременно записывал видео с точки зрения участников во время процесса покупки, исследователям было легко сопоставить сценарий покупок с данными fNIRS. Таким образом, этот экспериментальный метод с использованием мультимодальных подходов не только имеет преимущество непрерывного измерения в реальном времени с высокой экологической достоверностью, но также сочетает в себе преимущества различных методов для выявления динамических изменений в сценариях покупок. Это исследование предоставило эффективный метод тестирования юзабилити для производителей продуктов для улучшения дизайна продукта, розничных продавцов для оптимизации размещения продуктов на полке и потребителей для улучшения пользовательского опыта. Во-вторых, в этом исследовании был предложен метод юзабилити-теста, сочетающий объективные и субъективные оценки. Некоторые исследователи выявили, что методы самоотчета могут страдать от общей систематической ошибки метода (CMB)^52,53. Поскольку измерения когнитивной нейробиологии обычно менее восприимчивы к субъективной предвзятости, предвзятости социальной желательности и эффектам спроса, эти объективные данные оценки могут дополнить данные субъективной оценки и повысить надежность экспериментального результата^25,34. Лян и др. использовали методы ЭЭГ и самоотчета для исследования взаимосвязи между качеством веб-сайта и удовлетворенностью пользователей посредством эксперимента по опыту потока. Результаты показали, что метод когнитивной нейробиологии снижает CMB⁵³. В этом исследовании сочетание как объективных, так и субъективных оценок показало, что (1) потребители предпочитали условия покупок AR, основанные на субъективной оценке; (2) Метод дополненной реальности повысил эффективность визуального поиска и удобство использования на основе данных отслеживания взгляда; (3) Метод дополненной реальности снизил когнитивную нагрузку потребителей и улучшил их пользовательский опыт на основе данных fNIRS и шкалы NASA-TLX; и (4) в сочетании с видеоинформацией, записанной с помощью отслеживания взгляда, это позволило изучить индивидуальные различия и лучше понять различия в поведении потребителей.

Будущие области применения
В этом исследовании предлагается экспериментальная парадигма для юзабилити-тестирования новых технологий в MIS. Юзабилити-тест используется для оценки пользовательского опыта новых технологий в человеко-компьютерных взаимодействиях⁵⁴. Поскольку новые технологии (например, дополненная реальность, виртуальная реальность, искусственный интеллект, носимые технологии, робототехника и большие данные) все чаще используются в MIS, экспериментальная парадигма юзабилити-теста может быть использована для проверки технических преимуществ новых технологий для пользовательского опыта в будущем.

В заключение, в этом исследовании предлагается экспериментальная парадигма, сочетающая как субъективные, так и объективные оценки в MIS, которая может эффективно оценивать удобство использования новых технологий, таких как AR.

Авторам раскрывать нечего.

Это исследование было поддержано Исследовательским проектом по философии и социальным наукам Департамента образования провинции Цзянсу (2018SJA1089), Стипендией правительства Цзянсу для зарубежных исследований (JS-2018-262), Фондом естественных наук провинции Чжэцзян (LY19G020018) и Национальным фондом естественных наук Китая (NSFC) (72001096).