Method Article
В этой работе представлен набор данных in vivo с позами костей, оцененными с помощью методов, основанных на маркерах. В эту работу включен метод обучения операторов совершенствованию их первоначальных оценок для оценки позы на основе модели и снижения межоператорской вариативности.
Измерение движения мелких костей стопы имеет решающее значение для понимания патологической потери функции. Бипланарная видеорентгенография хорошо подходит для измерения движения костей in vivo , но при оценке вращения и перемещения (позы) каждой кости возникают проблемы. Положение кости обычно оценивается с помощью маркерных или модельных методов. Методы на основе маркеров отличаются высокой точностью, но редко встречаются in vivo из-за их инвазивности. Методы, основанные на моделях, более распространены, но в настоящее время менее точны, поскольку они основаны на вводе данных пользователем и алгоритмах, специфичных для лаборатории. В этой работе представлен редкий in vivo набор данных поз пяточной кости, таранной и большеберцовой костей, измеренный с помощью маркерных методов во время бега и прыжков. В программу включен метод обучения пользователей улучшению их первоначальных предположений в программном обеспечении для оценки позы на основе моделей с использованием визуальной обратной связи на основе маркеров. Новые операторы смогли оценить позы костей в пределах 2° от поворота и 1 мм от перемещения позы на основе маркера, аналогично опытному пользователю программного обеспечения, основанного на модели, что представляет собой существенное улучшение по сравнению с ранее зарегистрированной межоператорской вариабельностью. Кроме того, этот набор данных может быть использован для проверки другого программного обеспечения для оценки позы на основе моделей. В конечном счете, совместное использование этого набора данных повысит скорость и точность, с которыми пользователи могут измерять позы костей с помощью бипланарной видеорадиографии.
Измерение движения мелких костей стопы имеет решающее значение для понимания патологической потери функции. Тем не менее, динамическое измерение движения костей стопы является сложной задачей из-за небольшого размера и плотной конфигурации костей и суставов 1,2. Технология бипланарной видеорадиографии (BVR) хорошо подходит для измерения in vivo трехмерного (3D) движения мелких костей стопы и голеностопного сустава во время динамической активности. BVR дает представление об артрокинематике за счет использования двух источников рентгеновского излучения, соединенных с усилителями изображения, которые преобразуют рентгеновские лучи динамического движения в видимый свет. По мере того, как нога перемещается по объему захвата, высокоскоростные камеры захватывают изображения. Изображения не искажаются и проецируются в объем захвата с использованием откалиброванных положений камеры 3,4. Шесть степеней свободы (6 d.o.f.) позы кости (3 d.o.f. для положения и 3 d.o.f. для ориентации) затем оцениваются с помощью маркерныхили модельных методов.
Методы оценки позы на основе маркеров или моделей различаются в зависимости от лабораторий и дисциплин. Золотым стандартом динамического измерения позы BVR является имплантация малых танталовых маркеров в исследуемую кость 4,5. Для оценки позы требуется минимум три маркера на кость, а дополнительные маркеры приводят к более высокой точности 5,6. Этот метод менее распространен in vivo из-за своей инвазивности, так как требует хирургической имплантации, а маркеры затем навсегда внедряютсяв кость. В качестве альтернативы, отслеживание на основе модели использует объемную информацию, полученную от других методов визуализации, таких как компьютерная томография (КТ) или магнитно-резонансная томография, для воссоздания модели на изображениях BVR 2,3,8,9,10,11,12,13,14,15 . Затем модель частично вручную обрабатывается для наилучшего соответствия изображениям (ротоскопирование), обычно с использованием комбинации вводимых пользователем данных в качестве первоначальной оценки и перекрестной корреляционной оптимизации 3,8,9,10,15. Оценка позы на основе модели менее инвазивна и, следовательно, более распространена, но имеет большее время обработки и требует ввода данных пользователем. Поскольку процесс ротоскопирования в настоящее время является полуручным, остается необходимость в надежном обучении операторов работе с лабораторным программным обеспечением, поскольку среднеквадратичные ошибки между операторами могут составлять от 0,83 мм до 4,96 мм и от 0,58° до 10,29° вдоль одной оси или около нее. Кроме того, алгоритмы сопоставления моделей совершенствуются, но требуют проверки с использованием экспериментальных парадигм, максимально приближенных к условиям in vivo.
Точность оценок позы на основе модели часто оценивается по метрикам, основанным на маркерах. Например, человеческие трупные ноги, которым имплантировали маркеры, перемещались через смоделированные локомоторные позиции 13,14,16. Полученные изображения BVR затем подаются с помощью метода ротоскопирования на основе модели и сравниваются с метриками на основе маркеров на точность (смещение и прецизионность). Несмотря на то, что использование статической трупной стопы является ценным подходом, оно имеет ограничения в оценке истинной точности позы кости in vivo. Например, положения суставов относительно постоянны у трупной стопы при отсутствии мышечной активности и нагрузок in vivo. Таким образом, он может не представлять пределы движения суставов в различных локомоторных задачах. Вариации положения суставов изменяют окклюзию на изображениях BVR, что является источником погрешности измерения при оценке небольших, плотно упакованных поз костей стопы13. Кроме того, при использовании алгоритмов сопоставления изображений присутствие маркеров в изображениях BVR, скорее всего, приведет к искажению результатов. В то время как группы удаляют маркеры из изображений компьютерной томографии (КТ) цифровой визуализации и связи в медицине (DICOM) 9,14,16, они лишь изредка удаляются из бипланарных видеорентгенографических изображений16.
В этой работе представлен набор данных BVR с открытым исходным кодом участника, прыгающего и бегающего in vivo, у которого маркеры имплантированы в кости стопы и голеностопного сустава (рис. 1). Предоставлена оценка позы на основе маркеров для движения костей большеберцовой, таранной и пяточной костей in vivo . Маркеры были удалены как с рентгеновских, так и с компьютерных изображений, чтобы ограничить любую систематическую ошибку, возникающую во время оценки точности отслеживания на основе модели. Этот набор данных предназначен для оценки точности любого программного обеспечения для оценки позы на основе моделей, а также для улучшения выбора исходных оценок позы для полуручных процессов. Он наиболее подходит для лиц, стремящихся повысить скорость и точность конвейера обработки изображений BVR, а также для лабораторий, которым требуется низкая межоператорская вариабельность при оценке начальной позы.
Рисунок 1: Обзор предоставленного набора данных бипланарной видеорадиографии (BVR). Имплантированные маркеры отслеживаются in vivo в качестве золотого стандарта для оценки положения костей. Маркеры были удалены в цифровом виде с изображений BVR и компьютерной томографии, чтобы предотвратить смещение при отслеживании на основе модели. Позы, оцененные с помощью любого программного обеспечения для отслеживания на основе моделей, можно сравнить с золотым стандартом отслеживания на основе маркеров. Оценка позы на основе маркеров также может быть использована для обучения новых операторов, чтобы улучшить их первоначальную оценку положения костей для отслеживания на основе моделей. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Экспериментальные протоколы были одобрены Советом по этике медицинских наук Королевского университета и аффилированных учебных больниц. Участник давал информированное согласие до начала участия в сборе данных.
1. Подготовка пациента и генерация набора данных
ПРИМЕЧАНИЕ: У участника (мужчина, 49 лет, 83 кг, рост 1,75 м) ранее было имплантировано несколько танталовых маркеров диаметром 0,8 мм в пяточную кость (3 маркера), таранную кость (4 маркера) и большеберцовую кость (5 маркеров; Рисунок 1).
2. Доступ к набору данных и коду
Рисунок 2: Дерево данных JOVE_BVR_Foot_ModelAndMarkerBased обучающего пакета. Папки отображаются в черных рамках, код — в светло-серых полях, а описания файлов — в темно-серых полях. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
3. Оценка точности алгоритма отслеживания модели
4. Обучение новых операторов
ПРИМЕЧАНИЕ: В этом разделе описывается обучение с обратной связью для нового оператора. В данном случае Autoscoper является выбранным программным обеспечением для оценки позы на основе модели, но в качестве замены может быть использовано другое программное обеспечение.
Рисунок 3: Визуализация приемлемого и неприемлемого трекинга. (A) Пяточная кость, отслеживаемая с помощью отслеживания на основе модели (серый; также обозначен серой стрелкой), которая недостаточно соответствует позе из оценки позы на основе маркера (красная; также обозначена красной стрелкой). (B) Пяточная кость, которая в достаточной степени соответствует позе из оценки позы на основе маркеров. В результате пяточная кость, отслеживаемая маркером, отображается зеленым цветом (также обозначена серыми и зелеными стрелками). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Два новых оператора и один эксперт прошли обучение на основе моделей. С помощью 41 кадра оценочного испытания измерялась эффективность их отслеживания на основе модели (рис. 4). Оценки позы операторов обычно были значительно ниже установленных пороговых значений. Среднее медианное смещение (диапазон) при вращении костей составляло 0,75° (от 0,69° до 0,85°) для пяточной кости, 0,40° (от 0,37° до 0,46°) для таранной кости и 0,89° (от 0,76° до 1,07°) для большеберцовой кости. Среднее медианное смещение при трансляции составило 0,10 мм (от 0,05 мм до 0,16 мм) для пяточной кости, 0,31 мм (от 0,22 мм до 0,41 мм) для таранной кости и 0,33 мм (от 0,27 мм до 0,37 мм) для большеберцовой кости. Эти результаты свидетельствуют о том, что учебное пособие эффективно подходит для обучения операторов работе с заданными допусками.
Рисунок 4: Поворот и смещение перевода для новых операторов и эксперта. ГрафикиСкрипки 20 , показывающие смещение во вращении (A)(C)(E) и трансляции (B)(D)(F) между модельными и маркерными оценками позы для двух новых операторов и одного эксперта для пяточной кости (A)(B), таранной кости (C)(D) и большеберцовой кости (E)(F). Все 41 кадр оценочного испытания показаны в виде точек данных: медиана (белый кружок), межквартильный диапазон (толстая вертикальная линия) и среднее значение (толстая горизонтальная линия). Черная линия под углом 2° и 1 мм обозначает выбранные пороговые значения. Шесть кадров за пределами порогового значения для нового оператора 2 в (E) не отображаются. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
У одного нового оператора было на шесть кадров выше порога поворота на 2° при отслеживании большеберцовой кости. Кадры были идентифицированы с помощью одного из сгенерированных графиков в verifyAssessmentPoses.m (рисунок 5). Эти шесть кадров сложнее отследить из-за окклюзии большеберцовой кости другой ногой, раскачивающейся в поле зрения.
Рисунок 5: Смещение вращения для каждого кадра по фазе стойки. Пример отслеживания вращения второго нового оператора на части фазы стойки бега для (А) пяточной кости, (В) таранной кости и (В) большеберцовой кости. Обратите внимание, что в красном поле в положении (C) показаны кадры с высоким уровнем ошибок. (D) Слева на репрезентативном изображении показана приблизительная разница в выравнивании оранжевых и синих линий передней большеберцовой кости (обозначенных оранжевыми и черными стрелками). На правом изображении показан пример хорошо отслеживаемой большеберцовой кости (обозначена белой стрелкой). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Дополнительный файл. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.
Точная оценка позы на основе модели имеет основополагающее значение для измерения артрокинематики и движения скелета. Предыдущие методы валидации для оценки позы были основаны на трупных образцах с имплантированными маркерами, без нагрузки in vivo и диапазонов движений суставов. Этот набор данных in vivo о беге и прыжках с оценкой позы на основе маркеров позволяет проверять алгоритмы на основе моделей. Кроме того, набор данных организуется таким образом, чтобы начальная оценка, необходимая для большинства алгоритмов, основанных на модели, находилась в пределах заданного допуска, что снижает межоператорную вариативность. Код MATLAB предоставляется таким образом, чтобы кости можно было анимировать, а обратная связь о качестве позы автоматически генерировалась.
Новые операторы были успешно обучены работе с заданным допуском в 2° поворота и 1 мм перемещения. Эти пределы намного ниже, чем заявленная межоператорская надежность, которая может достигать 5 мм и 10°1. Тем не менее, выбранные допуски в 2-4 раза выше, чем среднеквадратичная ошибка других экспериментов с интактными трупными стопами (0,59 мм и 0,71°16). Допуски включают в себя более высокие предельные диапазоны среднеквадратичной ошибки, но все же представляют собой существенное улучшение по сравнению с зарегистрированной межоператорской вариабельностью. Кроме того, условия in vivo сложнее отслеживать, чем статичные позы стопы, из-за вариаций окклюзии костей, мягких тканей и артефактов высокоскоростного движения через рентгеновский объем. Новые операторы успешно выполнили ротоскопирование испытаний в пределах допуска и были близки к результатам эксперта, за исключением шести кадров, показанных на рисунке 5C. Таким образом, установленный допуск представляет собой улучшение по сравнению с зарегистрированной межоператорской вариабельностью, и результаты показывают, что этот метод может успешно обучать новых операторов в пределах этого допуска.
Важным этапом в этом протоколе является итерация между ротоскопированием в выбранном программном обеспечении и визуализацией в 3D. Эта итерация важна для понимания того, как кости ориентируются в пространстве. Это позволяет оператору проверить, являются ли костные позы биологически осуществимыми и не сталкиваются ли они с другими костями. Постоянное чередование ротоскопирования и визуализации улучшает качество окончательной оценки положения костей и помогает выявить ошибки оптимизации.
Обучающий набор, особенно оценочное испытание, включает в себя сложные сценарии отслеживания, чтобы раздвинуть границы возможностей новых операторов. Расположение источников рентгеновского излучения и усилителей изображения в этой коллекции приводило к тому, что качающаяся нога закрывала вид, что создавало трудности для выравнивания костных моделей. Новый оператор, находившийся на несколько кадров выше порога поворота, пострадал от контралатеральной ноги, закрывающей обзор. Такие стратегии, как изменение настроек фильтра и ротоскопирование кадров непосредственно до и после окклюзии, могут помочь смягчить эти проблемы. Кроме того, ориентация систем координат существенно различается между DICOM и программным обеспечением для оценки позы, что приводит к изменению угла в большеберцовой кости. Операторы должны отслеживать каждый кадр на этом этапе, чтобы решить эту проблему. Эти сценарии не являются редкостью при сборе данных и представляют собой проблемы, с которыми в будущем должна справиться автоматическая оценка позы на основе модели, и поэтому они являются ценным дополнением к этому набору данных.
У этого протокола есть определенные ограничения. Во-первых, объявление оценки позы на основе маркеров золотым стандартом является спорным, поскольку разница в точности между оценкой позы на основе маркеров и моделью обычно не отличается на порядок 2,3,10. Тем не менее, вероятно, что визуальные изменения на изображениях BVR, которые возникают при использовании коллекций in vivo (т.е. артефакт движения, мягкие ткани и окклюзия костей), с большей вероятностью вызывают ошибки в оценке позы на основе моделей по сравнению с методами, основанными на маркерах. Для подтверждения этой гипотезы необходимы дальнейшие эксперименты. Кроме того, этот набор данных не охватывает все бипланарные рентгеновские снимки. Ориентация камер таким образом, что кости находятся в разных относительных положениях, может изменить рельеф костной ткани и, соответственно, повлиять на функцию стоимости алгоритма сопоставления поз. Кроме того, на эти особенности могут влиять настройки фильтра изображений15,17. Таким образом, этот набор данных не обязательно является обобщенной оценкой точности BVR. Вместо этого это инструмент для обучения пользователей вводу соответствующих начальных оценок позы и для улучшения алгоритмов оценки поз на основе моделей до тех пор, пока не отпадет необходимость в ручном ротоскопировании первоначальных предположений.
У авторов нет конфликта интересов, который можно было бы раскрыть.
Эта работа была профинансирована грантом NSERC Discovery Grant (RGPIN/04688-2015) и премией Онтарио для ранних исследователей.
Name | Company | Catalog Number | Comments |
Autoscoper | Brown University | https://simtk.org/projects/autoscoper; pose estimation software | |
Code | Queen's University | https://github.com/skelobslab/JOVE_BVR_FootModelAndMarker Based | |
Content-Aware Fill algorithm, Photoshop | Adobe | ||
Dataset | Queen's University | Download here | |
MATLAB | Mathworks | n/a | computing platform |
Mimics | Materialise, Belgium | 3D image processing software | |
Revolution HD | General Electric Medical Systems | CT scan device used | |
WristVisualizer | Brown University | https://github.com/DavidLaidlaw/WristVisualizer/tree/master; Visualization software | |
XMALab | Brown University | https://bitbucket.org/xromm/xmalab/src/master/ |
Запросить разрешение на использование текста или рисунков этого JoVE статьи
Запросить разрешениеThis article has been published
Video Coming Soon
Авторские права © 2025 MyJoVE Corporation. Все права защищены