Бипланарный видеорадиографический набор данных для разработки оценки поз на основе моделей и обучения новых пользователей

В этой работе представлен набор данных in vivo с позами костей, оцененными с помощью методов, основанных на маркерах. В эту работу включен метод обучения операторов совершенствованию их первоначальных оценок для оценки позы на основе модели и снижения межоператорской вариативности.

Измерение движения мелких костей стопы имеет решающее значение для понимания патологической потери функции. Бипланарная видеорентгенография хорошо подходит для измерения движения костей in vivo , но при оценке вращения и перемещения (позы) каждой кости возникают проблемы. Положение кости обычно оценивается с помощью маркерных или модельных методов. Методы на основе маркеров отличаются высокой точностью, но редко встречаются in vivo из-за их инвазивности. Методы, основанные на моделях, более распространены, но в настоящее время менее точны, поскольку они основаны на вводе данных пользователем и алгоритмах, специфичных для лаборатории. В этой работе представлен редкий in vivo набор данных поз пяточной кости, таранной и большеберцовой костей, измеренный с помощью маркерных методов во время бега и прыжков. В программу включен метод обучения пользователей улучшению их первоначальных предположений в программном обеспечении для оценки позы на основе моделей с использованием визуальной обратной связи на основе маркеров. Новые операторы смогли оценить позы костей в пределах 2° от поворота и 1 мм от перемещения позы на основе маркера, аналогично опытному пользователю программного обеспечения, основанного на модели, что представляет собой существенное улучшение по сравнению с ранее зарегистрированной межоператорской вариабельностью. Кроме того, этот набор данных может быть использован для проверки другого программного обеспечения для оценки позы на основе моделей. В конечном счете, совместное использование этого набора данных повысит скорость и точность, с которыми пользователи могут измерять позы костей с помощью бипланарной видеорадиографии.

Измерение движения мелких костей стопы имеет решающее значение для понимания патологической потери функции. Тем не менее, динамическое измерение движения костей стопы является сложной задачей из-за небольшого размера и плотной конфигурации костей и суставов ^1,2. Технология бипланарной видеорадиографии (BVR) хорошо подходит для измерения in vivo трехмерного (3D) движения мелких костей стопы и голеностопного сустава во время динамической активности. BVR дает представление об артрокинематике за счет использования двух источников рентгеновского излучения, соединенных с усилителями изображения, которые преобразуют рентгеновские лучи динамического движения в видимый свет. По мере того, как нога перемещается по объему захвата, высокоскоростные камеры захватывают изображения. Изображения не искажаются и проецируются в объем захвата с использованием откалиброванных положений камеры ^3,4. Шесть степеней свободы (6 d.o.f.) позы кости (3 d.o.f. для положения и 3 d.o.f. для ориентации) затем оцениваются с помощью маркерных^или модельных методов.

Методы оценки позы на основе маркеров или моделей различаются в зависимости от лабораторий и дисциплин. Золотым стандартом динамического измерения позы BVR является имплантация малых танталовых маркеров в исследуемую кость ^4,5. Для оценки позы требуется минимум три маркера на кость, а дополнительные маркеры приводят к более высокой точности ^5,6. Этот метод менее распространен in vivo из-за своей инвазивности, так как требует хирургической имплантации, а маркеры затем навсегда внедряются^{в кость}. В качестве альтернативы, отслеживание на основе модели использует объемную информацию, полученную от других методов визуализации, таких как компьютерная томография (КТ) или магнитно-резонансная томография, для воссоздания модели на изображениях BVR 2,3,8,9,10,11,12,13,14,15 . Затем модель частично вручную обрабатывается для наилучшего соответствия изображениям (ротоскопирование), обычно с использованием комбинации вводимых пользователем данных в качестве первоначальной оценки и перекрестной корреляционной оптимизации 3,8,9,10,15. Оценка позы на основе модели менее инвазивна и, следовательно, более распространена, но имеет большее время обработки и требует ввода данных пользователем. Поскольку процесс ротоскопирования в настоящее время является полуручным, остается необходимость в надежном обучении операторов работе с лабораторным программным обеспечением, поскольку среднеквадратичные ошибки между операторами могут составлять от 0,83 мм до 4,96 мм и от 0,58° до 10,29° вдоль одной оси или около нее^. Кроме того, алгоритмы сопоставления моделей совершенствуются, но требуют проверки с использованием экспериментальных парадигм, максимально приближенных к условиям in vivo.

Точность оценок позы на основе модели часто оценивается по метрикам, основанным на маркерах. Например, человеческие трупные ноги, которым имплантировали маркеры, перемещались через смоделированные локомоторные позиции 13,14,16. Полученные изображения BVR затем подаются с помощью метода ротоскопирования на основе модели и сравниваются с метриками на основе маркеров на точность (смещение и прецизионность). Несмотря на то, что использование статической трупной стопы является ценным подходом, оно имеет ограничения в оценке истинной точности позы кости in vivo. Например, положения суставов относительно постоянны у трупной стопы при отсутствии мышечной активности и нагрузок in vivo. Таким образом, он может не представлять пределы движения суставов в различных локомоторных задачах. Вариации положения суставов изменяют окклюзию на изображениях BVR, что является источником погрешности измерения при оценке небольших, плотно упакованных поз костей стопы¹³. Кроме того, при использовании алгоритмов сопоставления изображений присутствие маркеров в изображениях BVR, скорее всего, приведет к искажению результатов. В то время как группы удаляют маркеры из изображений компьютерной томографии (КТ) цифровой визуализации и связи в медицине (DICOM) ^9,14,16, они лишь изредка удаляются из бипланарных видеорентгенографических изображений¹⁶.

В этой работе представлен набор данных BVR с открытым исходным кодом участника, прыгающего и бегающего in vivo, у которого маркеры имплантированы в кости стопы и голеностопного сустава (рис. 1). Предоставлена оценка позы на основе маркеров для движения костей большеберцовой, таранной и пяточной костей in vivo . Маркеры были удалены как с рентгеновских, так и с компьютерных изображений, чтобы ограничить любую систематическую ошибку, возникающую во время оценки точности отслеживания на основе модели. Этот набор данных предназначен для оценки точности любого программного обеспечения для оценки позы на основе моделей, а также для улучшения выбора исходных оценок позы для полуручных процессов. Он наиболее подходит для лиц, стремящихся повысить скорость и точность конвейера обработки изображений BVR, а также для лабораторий, которым требуется низкая межоператорская вариабельность при оценке начальной позы.

Рисунок 1: Обзор предоставленного набора данных бипланарной видеорадиографии (BVR). Имплантированные маркеры отслеживаются in vivo в качестве золотого стандарта для оценки положения костей. Маркеры были удалены в цифровом виде с изображений BVR и компьютерной томографии, чтобы предотвратить смещение при отслеживании на основе модели. Позы, оцененные с помощью любого программного обеспечения для отслеживания на основе моделей, можно сравнить с золотым стандартом отслеживания на основе маркеров. Оценка позы на основе маркеров также может быть использована для обучения новых операторов, чтобы улучшить их первоначальную оценку положения костей для отслеживания на основе моделей. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Экспериментальные протоколы были одобрены Советом по этике медицинских наук Королевского университета и аффилированных учебных больниц. Участник давал информированное согласие до начала участия в сборе данных.

1. Подготовка пациента и генерация набора данных

ПРИМЕЧАНИЕ: У участника (мужчина, 49 лет, 83 кг, рост 1,75 м) ранее было имплантировано несколько танталовых маркеров диаметром 0,8 мм в пяточную кость (3 маркера), таранную кость (4 маркера) и большеберцовую кость (5 маркеров; Рисунок 1).

1. Получите компьютерную томографию с алгоритмом уменьшения металлических артефактов (для уменьшения искажения изображения из-за металлических имплантатов) на стопе участника в максимально подошвенно согнутой лодыжке с размером пикселя 0,500 мм или менее и толщиной среза 0,625 мм или менее.
   ПРИМЕЧАНИЕ: Здесь правая нога участника была отсканирована с разрешением 0,441 мм x 0,441 мм x 0,625 мм. Расположение маркеров не размещается в конкретных анатомических местах внутри кости⁴; Вместо этого они распределяются по всей кости⁵.
2. О методах сбора бипланарной видеорадиографии и обработки данных подробно см.¹⁷. Вкратце попросите участника выполнить желаемое движение, при этом его исходное положение должно быть подобрано таким образом, чтобы его ступня попадала в объем бипланарной видеорентгенографии. Используйте калибровочный объект и сетки без искажений для определения местоположения камер и устранения искажений изображений, соответственно¹⁸.
   ПРИМЕЧАНИЕ: Участник этого исследования выполнил испытания двух разных частей. Они прыгали под метроном со скоростью 108 ударов в минуту и медленно бежали трусцой по громкости. Изображения захватывались непрерывно с частотой 250 Гц и выдержкой 1111 мкс, а рентгеновская система была настроена на напряжение 70 кВ и 100 мА.
3. Сегментируйте маркеры по отдельности с помощью программного обеспечения для обработки медицинских 3D-изображений. Используя алгоритм заливки с учетом содержимого в редакторе растровой графики и известные местоположения маркеров, удалите маркеры из изображений DICOM. Создание частичных объемов кости и мозаичных сеток путем сегментации изображений без маркеров, как показано на^{рисунке 17}. Выровняйте как частичные объемы, так и сетки и сохраните их в пространстве КТ.
4. Для каждого кадра сведите в таблицу неотфильтрованные координаты изображения x-y каждого маркера в XMALab и экспортируйте его¹⁸. Триангулируйте 3D-координаты с помощью набора инструментов компьютерного зрения в MATLAB. Оцените позу, сопоставив положения 3D-маркеров в рентгеновском пространстве с центроидами сферической аппроксимации в пространстве КТ, используя метод наименьших квадратов¹⁹. Используйте тот же алгоритм в редакторе растровой графики для удаления маркеров на рентгеновских снимках и подготовки их к отслеживанию.

2. Доступ к набору данных и коду

1. Загрузите набор данных отсюда. Для каждого испытания имеются изображения BVR и файлы калибровки, а также оценки эталонной позы, сохраненные в формате .tra (рис. 2). Скачайте/клонируйте пакет кода с: https://github.com/skelobslab/JOVE_BVR_FootModelAndMarkerBased.

Рисунок 2: Дерево данных JOVE_BVR_Foot_ModelAndMarkerBased обучающего пакета. Папки отображаются в черных рамках, код — в светло-серых полях, а описания файлов — в темно-серых полях. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

3. Оценка точности алгоритма отслеживания модели

1. Сохраните оценки позы в виде файла .tra в справочной папке исследования. Расположите файл .tra с позой от костного пространства к рентгеновскому пространству, записанным в формате 1 строка x 16 столбцов, где каждая строка соответствует кадру, а матрица поз 4 x 4 записывается как [первый столбец, второй столбец, третий столбец и четвертый столбец].
   ПРИМЕЧАНИЕ: Костное пространство является синонимом пространства КТ в этом наборе данных.
2. Проверьте оценки позы, открыв скрипт verifyAssessmentPoses.m на вычислительной платформе и нажав кнопку «Выполнить». Загрузите файлы, как описано в подсказках. Скрипт вычисляет спиральную ось между оценкой позы на основе модели и маркера и возвращает разницу в повороте и перемещении для каждого кадра отслеживаемых данных.

4. Обучение новых операторов

ПРИМЕЧАНИЕ: В этом разделе описывается обучение с обратной связью для нового оператора. В данном случае Autoscoper является выбранным программным обеспечением для оценки позы на основе модели, но в качестве замены может быть использовано другое программное обеспечение.

1. Загрузите последнюю версию программного обеспечения для оценки позы по адресу: https://simtk.org/projects/autoscoper.
2. Чтобы найти локальные файлы BVR, откройте файл в текстовом редакторе (.\JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\POINTER_T0019_jog001.cfg). Программное обеспечение использует файл указателя (.cfg) для поиска файлов. Измените каталоги так, чтобы они вели к соответствующим локальным файлам. Сохраните файл и закройте его.
3. Чтобы загрузить изображения BVR и информацию о камере, откройте программное обеспечение для оценки позы и нажмите «Загрузить пробную версию». Перейдите к файлу конфигурации указателя, сохраненному на предыдущем шаге, и нажмите кнопку Открыть.
4. Для отслеживания следуйте протоколу, описанному в Akhbari et al¹⁷ (model-based tracking). Короче говоря, вращайте и перемещайте кость, щелкая и перетаскивая оси на кости, пока не будете удовлетворены положением и ориентацией пяточной кости. Нажмите клавишу S на клавиатуре, чтобы сохранить текущий кадр для пяточной кости (cal).
   ПРИМЕЧАНИЕ: Настройки фильтра включены в \JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\, который можно использовать для фильтрации, как показано в Akhbari et al¹⁷.
5. Чтобы сохранить файлы, нажмите «Сохранить отслеживание». Сохраните файл как [Номер испытания]_[Номер субъекта]_[Название испытания]_[3-буквенный код кости].tra (например, T0019_SOL001A_jog0001_cal.tra) в нужном каталоге. Экспортируйте настройки как текущие, матрицы, столбцы, запятые, нет, мм, градусы.
   ПРИМЕЧАНИЕ: Трехбуквенные коды костей для большеберцовой и таранной костей - это большеберцовая и таранная кости соответственно.
6. Чтобы создать файлы для отслеживания точности, откройте вычислительную платформу и запустите скрипт animateBonesWithReferences.m в папке с кодом. Перейдите к папкам в пакете обучения в соответствии с запросами диалоговых окон.
   ПРИМЕЧАНИЕ: Код animateBonesWithReferences.m — это специализированный код для обучения, который предоставляет позы на основе данных на основе маркеров в качестве обратной связи для улучшения отслеживания нового оператора.
7. Установите программное обеспечение для визуализации от: https://github.com/DavidLaidlaw/WristVisualizer/tree/master. Чтобы визуализировать отслеживание, откройте файл .pos, созданный на шаге 4.6, в программном обеспечении для визуализации; Расположение его файла будет находиться в командном окне вычислительной платформы.
8. Проверьте выравнивание отслеживаемой кости (серого цвета) с контрольной костью. Зеленый цвет указывает на то, что поза находится в пределах порогов поворота и перемещения, а красный цвет указывает на то, что она находится за пределами порога. Продолжайте отслеживание и визуализацию, пока все кадры не станут зелеными. При необходимости измените пороговые значения (phi - rotation, trans - translation) в строках 10 и 11 скрипта animateBonesWithReferences.m.
   ПРИМЕЧАНИЕ: Если эталонная кость красного цвета (Рисунок 3A), это означает, что поза находится на расстоянии более 1 мм или 2° от позы, основанной на маркере, измеренной с помощью спиральной оси. Если он зеленого цвета и визуально приемлем, то этот кадр отслеживается достаточно хорошо (рис. 3B).
9. Чтобы отследить другие кости в комплексе голеностопного сустава, повторите шаги с 4.4 по 4.8 для таранной и большеберцовой костей. Используйте программное обеспечение для визуализации, чтобы убедиться, что кости не сталкиваются.
10. Чтобы завершить оценку, отслеживайте и визуализируйте большеберцовую кость, таранную кость и пяточную кость в исследовании, называемом оценочным испытанием.
    1. Откройте вычислительную платформу и запустите код animateBonesGeneral.m. Перейдите к папкам в пакете обучения в соответствии с запросами диалоговых окон. Проверьте позы костей с помощью файла .pos в программном обеспечении для визуализации. Этот код можно обобщить для других испытаний по 3D-визуализации костей.
       ПРИМЕЧАНИЕ: Истинная поза, основанная на маркерах, больше не будет доступна. Будут присутствовать только серые кости.
11. Чтобы оценить оценку позы, откройте скрипт verifyAssessmentPoses.m на вычислительной платформе и нажмите «Выполнить». Скрипт вычисляет спиральную ось между оценкой позы на основе модели и маркера и возвращает разницу в повороте и перемещении для каждого кадра отслеживаемых данных. Это приведет к созданию того же графика, что и в animateBoneswithReferences.m, но не приведет к созданию анимации.
12. Убедитесь, что все точки данных находятся ниже выбранного порогового значения (плоской линии) как для поворота, так и для перемещения. При необходимости сохраните результаты в файл .csv.

Рисунок 3: Визуализация приемлемого и неприемлемого трекинга. (A) Пяточная кость, отслеживаемая с помощью отслеживания на основе модели (серый; также обозначен серой стрелкой), которая недостаточно соответствует позе из оценки позы на основе маркера (красная; также обозначена красной стрелкой). (B) Пяточная кость, которая в достаточной степени соответствует позе из оценки позы на основе маркеров. В результате пяточная кость, отслеживаемая маркером, отображается зеленым цветом (также обозначена серыми и зелеными стрелками). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Два новых оператора и один эксперт прошли обучение на основе моделей. С помощью 41 кадра оценочного испытания измерялась эффективность их отслеживания на основе модели (рис. 4). Оценки позы операторов обычно были значительно ниже установленных пороговых значений. Среднее медианное смещение (диапазон) при вращении костей составляло 0,75° (от 0,69° до 0,85°) для пяточной кости, 0,40° (от 0,37° до 0,46°) для таранной кости и 0,89° (от 0,76° до 1,07°) для большеберцовой кости. Среднее медианное смещение при трансляции составило 0,10 мм (от 0,05 мм до 0,16 мм) для пяточной кости, 0,31 мм (от 0,22 мм до 0,41 мм) для таранной кости и 0,33 мм (от 0,27 мм до 0,37 мм) для большеберцовой кости. Эти результаты свидетельствуют о том, что учебное пособие эффективно подходит для обучения операторов работе с заданными допусками.

Рисунок 4: Поворот и смещение перевода для новых операторов и эксперта. Графики^{Скрипки 20} , показывающие смещение во вращении (A)(C)(E) и трансляции (B)(D)(F) между модельными и маркерными оценками позы для двух новых операторов и одного эксперта для пяточной кости (A)(B), таранной кости (C)(D) и большеберцовой кости (E)(F). Все 41 кадр оценочного испытания показаны в виде точек данных: медиана (белый кружок), межквартильный диапазон (толстая вертикальная линия) и среднее значение (толстая горизонтальная линия). Черная линия под углом 2° и 1 мм обозначает выбранные пороговые значения. Шесть кадров за пределами порогового значения для нового оператора 2 в (E) не отображаются. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

У одного нового оператора было на шесть кадров выше порога поворота на 2° при отслеживании большеберцовой кости. Кадры были идентифицированы с помощью одного из сгенерированных графиков в verifyAssessmentPoses.m (рисунок 5). Эти шесть кадров сложнее отследить из-за окклюзии большеберцовой кости другой ногой, раскачивающейся в поле зрения.

Рисунок 5: Смещение вращения для каждого кадра по фазе стойки. Пример отслеживания вращения второго нового оператора на части фазы стойки бега для (А) пяточной кости, (В) таранной кости и (В) большеберцовой кости. Обратите внимание, что в красном поле в положении (C) показаны кадры с высоким уровнем ошибок. (D) Слева на репрезентативном изображении показана приблизительная разница в выравнивании оранжевых и синих линий передней большеберцовой кости (обозначенных оранжевыми и черными стрелками). На правом изображении показан пример хорошо отслеживаемой большеберцовой кости (обозначена белой стрелкой). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Дополнительный файл. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Точная оценка позы на основе модели имеет основополагающее значение для измерения артрокинематики и движения скелета. Предыдущие методы валидации для оценки позы были основаны на трупных образцах с имплантированными маркерами, без нагрузки in vivo и диапазонов движений суставов. Этот набор данных in vivo о беге и прыжках с оценкой позы на основе маркеров позволяет проверять алгоритмы на основе моделей. Кроме того, набор данных организуется таким образом, чтобы начальная оценка, необходимая для большинства алгоритмов, основанных на модели, находилась в пределах заданного допуска, что снижает межоператорную вариативность. Код MATLAB предоставляется таким образом, чтобы кости можно было анимировать, а обратная связь о качестве позы автоматически генерировалась.

Новые операторы были успешно обучены работе с заданным допуском в 2° поворота и 1 мм перемещения. Эти пределы намного ниже, чем заявленная межоператорская надежность, которая может достигать 5 мм и 10°¹. Тем не менее, выбранные допуски в 2-4 раза выше, чем среднеквадратичная ошибка других экспериментов с интактными трупными стопами (0,59 мм и 0,71°¹⁶). Допуски включают в себя более высокие предельные диапазоны среднеквадратичной ошибки, но все же представляют собой существенное улучшение по сравнению с зарегистрированной межоператорской вариабельностью. Кроме того, условия in vivo сложнее отслеживать, чем статичные позы стопы, из-за вариаций окклюзии костей, мягких тканей и артефактов высокоскоростного движения через рентгеновский объем. Новые операторы успешно выполнили ротоскопирование испытаний в пределах допуска и были близки к результатам эксперта, за исключением шести кадров, показанных на рисунке 5C. Таким образом, установленный допуск представляет собой улучшение по сравнению с зарегистрированной межоператорской вариабельностью, и результаты показывают, что этот метод может успешно обучать новых операторов в пределах этого допуска.

Важным этапом в этом протоколе является итерация между ротоскопированием в выбранном программном обеспечении и визуализацией в 3D. Эта итерация важна для понимания того, как кости ориентируются в пространстве. Это позволяет оператору проверить, являются ли костные позы биологически осуществимыми и не сталкиваются ли они с другими костями. Постоянное чередование ротоскопирования и визуализации улучшает качество окончательной оценки положения костей и помогает выявить ошибки оптимизации.

Обучающий набор, особенно оценочное испытание, включает в себя сложные сценарии отслеживания, чтобы раздвинуть границы возможностей новых операторов. Расположение источников рентгеновского излучения и усилителей изображения в этой коллекции приводило к тому, что качающаяся нога закрывала вид, что создавало трудности для выравнивания костных моделей. Новый оператор, находившийся на несколько кадров выше порога поворота, пострадал от контралатеральной ноги, закрывающей обзор. Такие стратегии, как изменение настроек фильтра и ротоскопирование кадров непосредственно до и после окклюзии, могут помочь смягчить эти проблемы. Кроме того, ориентация систем координат существенно различается между DICOM и программным обеспечением для оценки позы, что приводит к изменению угла в большеберцовой кости. Операторы должны отслеживать каждый кадр на этом этапе, чтобы решить эту проблему. Эти сценарии не являются редкостью при сборе данных и представляют собой проблемы, с которыми в будущем должна справиться автоматическая оценка позы на основе модели, и поэтому они являются ценным дополнением к этому набору данных.

У этого протокола есть определенные ограничения. Во-первых, объявление оценки позы на основе маркеров золотым стандартом является спорным, поскольку разница в точности между оценкой позы на основе маркеров и моделью обычно не отличается на порядок ^2,3,10. Тем не менее, вероятно, что визуальные изменения на изображениях BVR, которые возникают при использовании коллекций in vivo (т.е. артефакт движения, мягкие ткани и окклюзия костей), с большей вероятностью вызывают ошибки в оценке позы на основе моделей по сравнению с методами, основанными на маркерах. Для подтверждения этой гипотезы необходимы дальнейшие эксперименты. Кроме того, этот набор данных не охватывает все бипланарные рентгеновские снимки. Ориентация камер таким образом, что кости находятся в разных относительных положениях, может изменить рельеф костной ткани и, соответственно, повлиять на функцию стоимости алгоритма сопоставления поз. Кроме того, на эти особенности могут влиять настройки фильтра изображений^15,17. Таким образом, этот набор данных не обязательно является обобщенной оценкой точности BVR. Вместо этого это инструмент для обучения пользователей вводу соответствующих начальных оценок позы и для улучшения алгоритмов оценки поз на основе моделей до тех пор, пока не отпадет необходимость в ручном ротоскопировании первоначальных предположений.

У авторов нет конфликта интересов, который можно было бы раскрыть.

Эта работа была профинансирована грантом NSERC Discovery Grant (RGPIN/04688-2015) и премией Онтарио для ранних исследователей.