이 프로토콜을 사용하여 연구는 심장과 뇌졸중 재단 (G-18-0020952), 크레이그 H. 닐슨 재단 (542675), 캐나다 자연 과학 및 공학 연구 위원회 (RGPIN-2014-05498), 연구, 혁신 및 과학부, 온타리오 (ER16-12-013)에 의해 투자되었다.

연구 결과는 대학 건강 네트워크의 연구 윤리 위원회에 의해 승인되었습니다. 서명된 정보에 입각한 동의는 연구에 등록하기 전에 각 참가자로부터 얻어졌습니다. 비디오 녹화에 등장하는 간병인 이나 가정 구성원으로부터 서명 된 동의를 얻었습니다.
1. 개인에 대한 프로토콜 적용 가능성 확인
참고: 이 프로토콜은 손상되었지만 완전히 결석하지 않은 개인에게 적용하기 위한 것입니다(특정 기준은 인구 및/또는 관심 문제에 맞게 조정할 수 있음).
<ol><li>참가자들에게 영향을 받는 손이 AD를 수행하는 능력에 영향을 미치는지 물어보십시오. 참고: 참가자에게 영향을 받는 손으로 독립적으로 수행할 수 있고 수행할 수 없는 작업의 몇 가지 예를 제공하도록 요청하는 것이 좋습니다.</li>
	<li>몬트리올 인지 평가(MoCA)의 총 점수가 21을 초과하는지 확인하여 프로토콜 절차를 이해하고 따르는 잠재적 어려움을 방지합니다.</li>
</ol>2. 참가자의 일상의 결정
<ol><li>참가자들에게 지난 2주 동안 의 일상을 회상해 보라고 한다. 수행되는 일일 작업, 기간 및 대략 몇 시에 문서화합니다.</li>
	<li>참가자와 공동으로 동영상을 녹화하는 동안 각각 1.5h의 3회 를 선택합니다. 주 중 다른 날에 걸쳐 분산되는 타임슬롯을 선택하고 손을 포함하는 AD가 일반적으로 순서대로 수행될 때 수행됩니다. 참고: 선택한 AD는 각 참가자의 일반적인 활동을 대표해야 하며 의미 있는 것으로 인식되어야 합니다. 다양한 날에 기록 기간을 예약하는 것은 기록된 AL의 다양성을 높이고 유용하고 의미 있는 데이터의 캡처를 촉진하기 위한 것입니다. 참고: 기록 시간대는 기록 효율성을 위해 예약되어 있지만 참가자는 언제 시작하고 녹화를 중지해야 하는지 완전히 제어할 수 있음을 이해해야 합니다.</li>
</ol>3. 녹화 일정에 대한 합의 및 참가자와의 비디오 콘텐츠 타겟팅
<ol><li>기록 일정에 대한 각 참가자의 동의를 얻고, 그들이 가질 수있는 우려를 논의 한 후.</li>
	<li>2주 동안 3h의 동영상 목표를 설정합니다. 동영상이 부족하면 녹화 기간이 연장될 수 있음을 참가자에게 알립니다.</li>
</ol>4. AD를 자연스럽게 수행하는 것의 중요성을 강조합니다.
<ol><li>참가자에게 기록할 특정 활동을 지정하는 대신 사실적인 루틴을 캡처하는 데 집중하도록 지시합니다. 명령의 의도는 참가자가 일반적인 것보다 더 많은 양의 특정 활동을 인위적으로 기록하지 못하게하는 것입니다.</li>
</ol>5. 집에서 녹음 하는 동안 잠재적인 개인 정보 보호 문제에 대 한 통지
<ol><li>참가자는 모든 기록이 개인 정보 보호 문제를 피하기 위해 공공 장소가 아닌 집 안에서 수행되어야한다는 것을 이해해야합니다.</li>
	<li>목욕, 드레싱/드레싱, 기밀 정보 확인 등 개인 정보 보호 문제를 제기할 수 있는 몇 가지 예를 제시합니다. 참가자들에게 녹음에 얼굴을 표시할 수 있는 거울을 알고 있음을 상기시킨다.</li>
	<li>참가자는 비디오에서 가능한 한 가족 구성원이나 간병인과 같은 다른 사람들의 존재를 피할 것을 제안합니다. 참고: 연구 연구의 맥락에서, 다른 사람의 존재가 불가피한 경우, 그 개인에게서 통보된 동의를 얻어야 합니다.</li>
</ol>6. 카메라 및 태블릿 명령
참고: 참가자가 초기 접촉 중에 많은 일상적인 필요에 대한 간병인의 도움이 필요하다고 표시하는 경우, 간병인은 또한 연구 방문에 참석하고 장비 사용에 대한 교육을 받아 나중에 참가자를 도울 수 있도록 권장됩니다.
<ol><li>참가자에게 자기 중심카메라(재료 표)를사용하는 방법을 시연합니다.<ol>
<li>카메라를 켜고 끄는 방법을 보여 줍니다.</li>
		<li>카메라를 사용하여 녹화(시작, 일시 중지, 중지)를 제어하는 방법을 보여 줍니다.</li>
	</ol>
</li>
	<li>태블릿(재료 테이블)을사전 설치된 카메라 앱과 함께 사용하여 녹화를 제어하는 방법을 보여 준다. 참고: 데모에는 카메라 앱의 녹화 제어뿐만 아니라 녹화된 비디오를 재생 및 편집(예: 트림 또는 삭제)하는 것이 포함됩니다. 카메라 리모컨은 처음에는 고려되었지만(보충파일)을고려했지만, 실제로는 참가자가 카메라 나 태블릿을 사용하여 녹화를 시작하고 중지하는 것이 편안했기 때문에 사용되지 않았습니다.<ol>
<li>태블릿을 켜고 끄는 방법을 보여 줍니다.</li>
		<li>카메라 앱을 통해 태블릿을 카메라에 연결하는 방법을 보여 줍니다.</li>
		<li>카메라 앱에서 녹화를 제어하는 방법을 보여 줍니다.</li>
		<li>카메라 앱에서 녹화된 동영상을 검토하는 방법을 보여 줍니다.</li>
		<li>카메라 앱에서 비디오를 잘라내거나 삭제하는 방법을 보여 줍니다.</li>
	</ol>
</li>
	<li>참가자의 머리에 조절가능한 탄성 헤드밴드를 사용하여 카메라를 착용하고 벗는 방법을 시연합니다. 참고: 그림 1을참조하십시오. <img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61898/61898fig01.jpg"> 그림 1. 웨어러블 카메라 설정.  (A) 자기 중심 카메라의 위치. (B) 카메라에서 각광을 받고 있습니다. <a href="https://www-jove-com.remotexs.ntu.edu.sg/files/ftp_upload/61898/61898fig01large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
	<ol>
<li>참가자의 이마에 카메라를 놓습니다. 헤드밴드를 조정하여 카메라를 편안하고 꾸준히 착용합니다.</li>
		<li>이마에 대하여 카메라의 최적의 각도를 보장합니다.</li>
		<li>참가자에게 앞에서 손을 움직이고 객체(예: 태블릿)를 조작하는 동안 짧은 비디오 세그먼트를 기록하도록 요청합니다.</li>
		<li>녹화된 비디오를 검토하고 조작 작업을 수행하는 동안 장면의 중앙 영역에서 두 손이 명확하게 표시되는지 확인합니다.</li>
		<li>참가자 및 간병인과 함께 카메라와 태블릿을 사용하여 숙련도를 입증할 때까지 연습합니다.</li>
	</ol>
</li>
</ol>7. 장비 제공
<ol><li>참가자들에게 모든 장비가 있는 키트를 제공하여 집에서 AD를 기록하십시오. 카메라와 태블릿 외에도 추가 카메라 배터리, 카메라와 태블릿용 배터리 충전기, 충전 케이블, 카메라 헤드밴드 및 카메라 사용에 대한 인쇄된 지침 세트가 포함되어 있습니다(보충 자료참조).</li>
</ol>8. 실험적 문제 해결 및 후속 조치
<ol><li>집에서 실제 녹음 하는 동안 장애물을 해결 하는 데 도움이 연구원의 연락처 정보를 제공 합니다. 1주일 후, 연구원들은 참가자들에게 전화를 걸어 기록 진행 상황을 기록하고 잠재적인 기술적 문제를 해결합니다.</li>
</ol>9. 장비 및 비디오 검색
<ol><li>참가자의 모든 장비와 비디오를 직접 또는 선불 우편 소포를 통해 재구성합니다.</li>
	<li>참가자가 반환된 모든 동영상을 공유하는 데 동의해야 합니다. 참가자는 수집된 모든 동영상을 연구팀에 반환하기 전에 검토하고 공유하고 싶지 않은 부분을 삭제하는 것이 좋습니다.</li>
	<li>연구 연구의 경우 반환된 비디오를 검토하고 동의없이 비디오에 누군가가 나타나는지 확인하십시오. 이 경우 동의서를 보내거나 동영상에 등장하는 개인에게 전화하여 동영상 사용에 대한 동의를 얻습니다. 개인이 도달 할 수없는 경우, 그들이 나타나는 비디오의 부분은 연구원에 의해 삭제됩니다.</li>
</ol>

<ol>
	<li>Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Factors+influencing+stroke+survivors'+quality+of+life+during+subacute+recovery.">Factors influencing stroke survivors' quality of life during subacute recovery.</a> Stroke. 36 (7), 1480-1484 (2005).</li><li>Anderson, K. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Targeting+recovery:+priorities+of+the+spinal+cord-injured+population.">Targeting recovery: priorities of the spinal cord-injured population.</a> Journal of Neurotrauma. 21 (10), 1371-1383 (2004).</li><li>Gladstone, D. J., Danells, C. J., Black, S. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Fugl-Meyer+assessment+of+motor+recovery+after+stroke:+a+critical+review+of+its+measurement+properties.">The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties.</a> Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).</li><li>Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Test-retest+reliability,+validity,+and+sensitivity+of+the+Chedoke+arm+and+hand+activity+inventory:+a+new+measure+of+upper-limb+function+for+survivors+of+stroke.">Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke.</a> Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).</li><li>Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Reliability+and+validity+of+the+upper-extremity+Motor+Activity+Log-14+for+measuring+real-world+arm+use.">Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use.</a> Stroke. 36 (11), 2493-2496 (2005).</li><li>Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Rasch+analysis+of+a+new+stroke-specific+outcome+scale:+the+Stroke+Impact+Scale.">Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale.</a> Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).</li><li>Marino, R. J., Shea, J. A., Stineman, M. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+capabilities+of+upper+extremity+instrument:+reliability+and+validity+of+a+measure+of+functional+limitation+in+tetraplegia.">The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia.</a> Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).</li><li>Hayward, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Exploring+the+role+of+accelerometers+in+the+measurement+of+real+world+upper-limb+use+after+stroke.">Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke.</a> Brain Impairment. 17 (1), 16-33 (2016).</li><li>van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Assessment+of+arm+activity+using+triaxial+accelerometry+in+patients+with+a+stroke.">Assessment of arm activity using triaxial accelerometry in patients with a stroke.</a> Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).</li><li>Oess, N. P., Wanek, J., Curt, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Design+and+evaluation+of+a+low-cost+instrumented+glove+for+hand+function+assessment.">Design and evaluation of a low-cost instrumented glove for hand function assessment.</a> Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).</li><li>Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+manumeter:+a+wearable+device+for+monitoring+daily+use+of+the+wrist+and+fingers.">The manumeter: a wearable device for monitoring daily use of the wrist and fingers.</a> IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).</li><li>Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+use+of+a+finger-worn+accelerometer+for+monitoring+of+hand+use+in+ambulatory+settings.">The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings.</a> IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).</li><li>Lee, S. I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+novel+upper-limb+function+measure+derived+from+finger-worn+sensor+data+collected+in+a+free-living+setting.">A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting.</a> PloS One. 14 (3), (2019).</li><li>Rowe, J. B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+variable+relationship+between+arm+and+hand+use:+a+rationale+for+using+finger+magnetometry+to+complement+wrist+accelerometry+when+measuring+daily+use+of+the+upper+extremity.">The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity.</a> 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).</li><li>Dousty, M., Zariffa, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Tenodesis+Grasp+Detection+in+Egocentric+Video.">Tenodesis Grasp Detection in Egocentric Video.</a> IEEE Journal of Biomedical and health. , (2020).</li><li>Likitlersuang, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Egocentric+video:+a+new+tool+for+capturing+hand+use+of+individuals+with+spinal+cord+injury+at+home.">Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home.</a> Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).</li><li>Tsai, M. -. F., Wang, R. H., Zariffa, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Generalizability+of+Hand-Object+Interaction+Detection+in+Egocentric+Video+across+Populations+with+Hand+Impairment.">Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment.</a> 2020 42nd Annual International Conference of the IEEE Engineering in Medicine &amp; Biology Society (EMBC). , 3228-3231 (2020).</li><li>Bandini, A., Dousty, M., Zariffa, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+wearable+vision-based+system+for+detecting+hand-object+interactions+in+individuals+with+cervical+spinal+cord+injury:+First+results+in+the+home+environment.">A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment.</a> 2020 42nd Annual International Conference of the IEEE Engineering in Medicine &amp; Biology Society (EMBC). , 2159-2162 (2020).</li><li>Dousty, M., Zariffa, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Towards+Clustering+Hand+Grasps+of+Individuals+with+Spinal+Cord+Injury+in+Egocentric+Video.">Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video.</a> 2020 42nd Annual International Conference of the IEEE Engineering in Medicine &amp; Biology Society (EMBC). , 2151-2154 (2020).</li><li>Bandini, A., Zariffa, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Analysis+of+the+hands+in+egocentric+vision:+A+survey.">Analysis of the hands in egocentric vision: A survey.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).</li><li>Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Views+of+individuals+with+spinal+cord+injury+on+the+use+of+wearable+cameras+to+monitor+upper+limb+function+in+the+home+and+community.">Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community.</a> Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).</li></ol>

저자는 공개 할 것이 없습니다.

우리는 cSCI 및 치기와 같은 상반신 장애가있는 개인의 웨어러블 카메라를 사용하여 집에서 ADL 비디오를 녹화하기위한 프로토콜을 발표했습니다. 이 프로토콜은 유연하며 특정 ADL에서 손 기능 성능을 캡처하거나 집에 거주하는 사람들의 원격으로 재활 진행 상황을 추적하는 것을 목표로 지시할 수 있습니다. 자기 중심의 비전 패러다임은 지역 사회에 살고있는 개인의 손 기능을 원격 모니터링하고 사람들이 입원 환자 치료에서 퇴원하면 재활을 최적화 할 수있는 큰 잠재력을 가지고 있습니다. 장시간 사용 시 편안함과 관련된 몇 가지 제한에도 불구하고(예: 1시간 이상) 자기 중심 카메라는 기능적 ADL 동안 손 사용의 세부 사항을 캡처하고 가속도계 및 ImU를 통해 얻을 수 없는 컨텍스트 정보를 제공할 수 있는 상당한 잠재력을 가지고 있습니다. 이 기술의 잠재적인 응용 프로그램은 가정에서 독립적 인 손 사용을 정량화하는 새로운 결과 측정값의 기초 역할을 포함, 뿐만 아니라 파악 전략이나 보상 자세를 식별하고 치료 계획을 알리기 위해 자세 정보를 분석. 웨어러블 카메라를 사용하면 가정에서 자연스러운 핸드 사용을 캡처할 수 있지만, 웨어러블 기술의 급속한 진화로 인해 배터리 수명, 보관 및 편안함 제한으로 인해 몇 시간 동안 지속적으로 녹화할 수 없지만 가까운 장래에 이러한 한계를 줄일 수 있습니다. 제한된 기록 기간에도 불구하고 참가자의 대표 루틴을 캡처하기 위해 여기에 제시 된 프로토콜은 적절한 기록 일정을 선택하는 연구자와 참가자 간의 협력 과정에 의존합니다.
cSCI 및 뇌졸중 생존자를 가진 개인에게서 수집한 데이터 덕분에, 우리는 프로토콜을 구체화하고 미래 연구에서 개선 될 수있는 함정과 격차를 식별 할 수있었습니다. 예를 들어, 기록 기간은 일반적으로 3시간의 비디오 데이터를 얻는 데 예상되는 2주보다 더 오래 걸렸습니다. 우리의 연구 결과에서는, 이러한 상황은 일반적으로 예기치 않은 사건 (예: 질병, 예기치 않은 마을 밖의 여행 등)에 의해 발생했기 때문에 참가자가 계획된 일정에 따라 비디오를 녹화하지 못하게했습니다. 이러한 경우, 우리는 주간 전화 통화를 통해 참가자들에게 기록을 확인할뿐만 아니라 기술의 자주 사용되지 않는 사용으로 발생할 수있는 기술적 문제를 해결하는 데 지원을 제공했습니다. 총 15명의 간병인이 집에서 비디오를 녹화하는 데 도움을 주었습니다. 기술적 문제 외에도 손 장애가 있는 개인의 웨어러블 카메라를 사용하여 비디오 데이터를 녹화할 때 채택해야 하는 두 가지 일반적인 권장 사항이 있습니다: 1) 단일 활동의 인위적으로 긴 지속 시간을 기록하고 다양한 AD를 늘리기 위해 참가자가 기록해야 할 것이 아니라 기록해야 할 때를 강조합니다. 2) 녹화 효율을 높이고 자연스러운 활동 시퀀스를 포착하기 위해 편안하게 할 수있는 한 카메라를 더 오래 연속 녹화할 수 있도록 유지합니다.
이 프로토콜은 다양한 활동의 맥락에서 자연스러운 손 함수를 캡처하는 데 사용할 수 있습니다. 수집된 동영상에는 일부 참가자들은 일상 생활(예: 식사)의 필수품뿐만 아니라 여가 활동도 포함시켰습니다. 참가자들에게 AD의 엄격한 목록을 지정하는 대신 일상 생활의 활동을 기록할 수 있는 자유를 제공함으로써 두 가지 중요한 목표를 달성할 수 있었습니다. 둘째, 우리는 다양한 활동을 기록 할 수 있었습니다. 그럼에도 불구하고 참가자들은 머리에 카메라의 존재를 알고 있었고,이 느낌은 그들의 정상적인 루틴보다 더 많은 활동을 기록하도록 그들 중 일부를 밀어 했을 수 있습니다.
자연 생활 조건에서 효율적이고 의미 있는 비디오 데이터 수집을 달성하기 위해 비디오 녹화 전에 참가자들에게 제공된 지침과 정보의 균형을 찾아야 했습니다. 기록할 가장 흥미로운 활동에 대해 너무 많은 방향을 제시하면 참가자들이 이러한 활동만 기록할 수 있으므로 일상 생활과 자연스러운 AD의 성능을 포착하지 못할 수 있습니다. 다른 한편으로는, 충분한 정보를 제공하지 않는 참가자에 혼란을 일으킬 수 있습니다, 누가 충분한 비디오를 기록하지 않거나 연구에 관심을 잃을 수 있습니다. 이러한 문제를 해결하고 성공적인 데이터 수집을 위한 최적의 절충안을 찾기 위해서는 참가자들과 함께 하는 철저한 교육 세션이 필수적이며, 참가자들의 일상을 이해하고 연구의 목적을 명확하게 이해하도록 하기 위해 표준 활동 집합을 수집하는 대신 자연스러운 루틴을 기록하는 데 중점을 두었습니다.
제안된 프로토콜의 세 가지 제한 사항은 식별할 수 있습니다. 첫째, 인지 문제가있는 개인은 일상 을 회상하거나 장비를 사용하는 방법을 배우는 데 어려움을 겪을 수 있습니다. 둘째, 손이 부족한 개인은 집에서 녹음을 설정하는 데 도움이 간병인을 필요로 할 수 있습니다. 셋째, 참가자는 레코딩을 다듬거나 삭제할 수 있으므로 실패한 AD의 예를 제거하고 얻은 데이터를 편향시킬 수 있습니다. 그럼에도 불구하고, 이러한 가능성은 기록된 ADLs가 참가자들에 의해 정기적으로 수행되었기 때문에 일반적으로 작업을 성공적으로 수행하기 위한 전략을 수립했기 때문에 이러한 가능성을 낮게 합니다. 이 프로토콜을 사용하는 목적은 일반적인 ADL 성능을 캡처하는 것이며 기능의 변형이 예상되는 경우 실패한 작업을 다듬으려는 참가자의 욕구가 감소할 수 있음을 주의 깊게 전달합니다.
자연 AL의 비디오를 수집하는 것은 집에서 손 장애가있는 개인의 손 기능을 이해하는 데 필수적입니다. 수집 된 비디오에서, 연구원과 임상의는 집에서 수행 된 전형적인 작업, 이러한 작업 중에 손의 사용뿐만 아니라 개체 조작 중에 채택 되는 손 자세 및 보상 전략을 볼 수 있습니다. 비디오에서 얻은 정보는 재활에 유용하며 가정에서 손 기능의 자동 분석을위한 혁신적이고 지능적인 도구를 개발 할 수 있습니다. 실제로 컴퓨터 비전 알고리즘은 cSCI및 뇌졸중 16,17,18을가진 개인에서 손 사용(예를 들어 각 손에 대한 핸드 오브젝트 상호 작용의 수 및 지속 시간)을 정량화하기 위한 목적으로 개발되었습니다. 자기 중심손 분석을 위한 컴퓨터 비전 기술의 지속적인 개선과 더 많은 수집된 비디오 데이터의 가용성을 통해 손 조작의 품질에 대한 추가 세부 사항도20을얻을 수 있다. 결국, 현재 프로토콜과 사용 가능한 기술은 지역 사회에 살고있는 상반신 장애가있는 개인의 손 사용에 대한 포괄적 인 설명으로 이어질 것이며, 회복을 최적화하고 삶의 질을 향상시키는 최종 목표로합니다.

손 기능은 상지 장애를 가진 임상 인구에 걸쳐 독립성과 삶의 질을 결정합니다1,2. 집에서 손 장애를 가진 개인의 손 기능을 캡처하는 것은 재활 중 및 후 일상 생활 (ADL)의 활동을 수행 할 수있는 능력의 진행 상황을 평가하는 데 필수적입니다. 대부분의 임상손 기능 평가는 가정3,4보다는임상 또는 실험실 환경에서 수행된다. 가정에서 ADL에 미치는 영향을 포착하고자 하는 기존 임상 손 기능 평가는 설문지이며 주관적인 자체 보고 등급5,6,7에의존한다. 재활이 가정에서 손 기능에 미치는 궁극적인 영향을 평가하는 객관적인 평가는 여전히 사용할 수 없습니다.
최근 몇 년 동안, 실제 환경에서 상지 기능을 캡처하기 위해 많은 웨어러블 기술이 개발및 구현되었습니다. 가속도계 및 관성 측정 장치(ImUS)와 같은 웨어러블 센서는 일상 생활에서 상지 의 움직임을 측정하는 데 일반적으로 사용되어 왔습니다. 그러나, 이들 장치는 전형적으로 검출된 시대가 기능상 상반두운동8,9에속하는지, 원하는 작업을 완료하기 위한 의도적인 움직임으로 정의되는지 여부를 구별하지 않는다. 예를 들어, 일부 웨어러블 센서는 보행 중 팔다리 의 존재에 민감하며, 이는 상지의 기능적 움직임이 아닙니다. 또한 손목착용 가속도계는 팔다리 의 상부 움직임을 포착하지만 실제 환경에서는 손 기능의 세부 사항을 캡처할 수 없습니다. 감각 장갑은 손 조작에 대한 자세한 정보를 캡처 할 수있습니다 10,하지만 손 기능과 감각이 이미 손상된 사람들에게 는 성가신 수 있습니다. 웨어러블 접근법은 또한 자기 측정또는 손가락 마모 가속도계11,12,13을통해 손가락 움직임을 포착하기 위해 제안되었지만, 이러한 움직임의 기능적 해석은 여전히 도전적이다14. 따라서 이전에 제안된 웨어러블 장치는 작고 사용하기 편리하지만 손 사용의 세부 사항 및 기능적 맥락을 설명하기에는 충분하지 않습니다.
웨어러블 카메라는 이러한 간격을 채우고 신경 재활 응용 프로그램15,16,17,18,19에대한 가정에서 ADLs 동안 손 기능의 세부 사항을 캡처하기 위해 제안되었습니다. 컴퓨터 비전을 사용하여 자기 중심 비디오를 자동화하여 손 자체와 실제 ADL20에서수행 된 작업에 대한 정보를 제공함으로써 컨텍스트에서 손 기능을 정량화 할 수있는 상당한 잠재력을 가지고 있습니다. 한편, 연속 기록의 지속 시간은 전형적으로 배터리, 저장 및 편안함 고려 사항에 의해 약 1~1.5h로 제한됩니다. 여기서 이러한 제약 조건 내에서 는 개인의 일상 생활을 대표하는 데이터와 손 기능 평가를 위한 유익한 데이터를 얻기 위한 자기 중심적인 비디오 수집 프로토콜을 제시합니다.

<table><tbody><tr><td>Egocentric camera</td><td>GoPro Inc., CA, USA</td><td>GoPro Hero 4 and 5</td><td>A camera that records from a first-person angle.</td></tr><tr><td>Battery chager and batteries</td><td>GoPro Inc., CA, USA</td><td>MAX Dual Battery Charger + Battery</td><td>Extra batteries for the camera and battery charger</td></tr><tr><td>Camera charger</td><td>GoPro Inc., CA, USA</td><td>Supercharger</td><td>This charger is connected to the camera directly without disassembling the camera frame.</td></tr><tr><td>Camera frame</td><td>GoPro Inc., CA, USA</td><td>The Frame</td><td>The hinge of the camera frame can be used to adjust the angle of view of the camera.</td></tr><tr><td>Headband for the camera</td><td>GoPro Inc., CA, USA</td><td>Head Strap + QuickClip</td><td></td></tr><tr><td>SD card</td><td>SanDisk, CA, USA</td><td>32GB microSD</td><td></td></tr><tr><td>Tablet</td><td>ASUSTeK Computer Inc., Taiwan</td><td>ZenPad 8.0 Z380M</td><td>The tablet is installed with the GoPro App in order to connect with the camera.</td></tr></tbody></table>

capturing representative hand use at home using egocentric video in individuals with upper limb impairment

신경 손상 후 손상 된 손 기능 독립성과 삶의 질에 큰 영향을 미칠 수 있습니다. 대부분의 기존 상반신 평가는 직접 수행되며, 이는 항상 지역 사회에서 손 사용을 나타내는 것은 아닙니다. 재활 개입의 진정한 영향을 측정하기 위해서는 일상 생활에서 손 기능을 포착하기 위한 새로운 접근법이 필요합니다. 자동화된 분석을 위한 컴퓨터 비전과 결합된 자기 중심 비디오는 가정에서 손 사용을 평가하기 위해 제안되었습니다. 그러나 연속 녹음 기간에는 제한이 있습니다. 획득한 동영상이 참가자의 프라이버시를 존중하면서 일상을 대표하도록 설계된 프로토콜을 제시합니다. 
대표적인 기록 일정은 연구자와 참가자 간의 협업 프로세스를 통해 선택되어 비디오가 자연스러운 작업과 성능을 포착할 수 있도록 하는 동시에 손 평가에 유용합니다. 장비 및 절차의 사용은 참가자에게 입증됩니다. 총 3h의 비디오 녹화가 2주 동안 예정되어 있습니다. 개인 정보 보호 문제를 줄이기 위해 참가자는 녹화를 시작하고 중지할 수 있는 모든 권한을 가지며, 이를 연구팀으로 되돌리기 전에 동영상을 편집할 수 있습니다. 미리 알림이 제공되며 필요한 경우 전화 및 가정 방문을 도와줍니다. 
이 프로토콜은 9명의 뇌졸중 생존자와 자궁 경부 척수 손상을 입은 14명의 개인으로 테스트되었습니다. 입수한 동영상에는 식사 준비, 식기 세척, 뜨개질 등 다양한 활동이 포함되어 있습니다. 평균 3.11 ± 0.98 h의 비디오가 입수되었습니다. 기록 기간은 질병이나 예기치 않은 사건으로 인해 12-69 d에서 다양합니다. 23명 중 22명이 데이터를 성공적으로 입수했으며, 6명의 참가자는 가정 기록 기간 동안 조사관의 도움을 받아야 합니다. 이 프로토콜은 신경 학적 부상 후 집에서 손 기능에 대한 귀중한 정보가 포함 된 비디오를 수집하는 데 효과적이었다.

참가자 인구 통계 및 포함 기준 이 연구 결과를 위해 23명의 참가자의 견본은 모집되었습니다: 9 치기 생존자 (6 남자, 3 여자) 및 cSCI를 가진 14명의 개별 (12 남자, 2 여자). 모집된 표본에 대한 요약 인구 통계 학적 및 임상 정보는 표 1에보고된다.
<table border="1" fo:keep-together.within-page="always"><tbody>
<tr>
<td rowspan="2"></td>
			<td rowspan="2">나이(세)</td>
			<td rowspan="2">부상 후 의 기간 (개월)</td>
			<td rowspan="2">병인학</td>
			<td colspan="2">부상 수준</td>
			<td colspan="2">상부 사지 기능 평가 (평균 ± SD)</td>
		</tr>
<tr>
<td>부상 수준</td>
			<td>AIS</td>
			<td>UEMS: 오른손</td>
			<td>UEMS: 왼손</td>
		</tr>
<tr>
<td rowspan="2">cSCI (N=14)</td>
			<td rowspan="2">55.9 ± 7.1</td>
			<td rowspan="2">56.4 ± 58.9</td>
			<td>12 외상성</td>
			<td rowspan="2">C4 – C8</td>
			<td rowspan="2">A – D</td>
			<td rowspan="2">18.1 ± 6.2</td>
			<td rowspan="2">18.6 ± 6.4</td>
		</tr>
<tr>
<td>2 비외상성</td>
		</tr>
<tr>
<td rowspan="2">스트로크 (N=9)</td>
			<td rowspan="2">56.8 ± 19.3</td>
			<td rowspan="2">94.4 ± 134.4</td>
			<td>5 허혈성</td>
			<td rowspan="2"></td>
			<td rowspan="2"></td>
			<td>FMA-UE: 영향을 받는 손</td>
			<td>ARAT: 영향을 받는 손</td>
		</tr>
<tr>
<td>4 출혈성</td>
			<td>45.6 ± 17.3</td>
			<td>37.1 ± 19.1</td>
		</tr>
<tr>
<td colspan="8">AIS: 아시아 손상 규모; UEMS: 상부 사지 모터 점수</td>
		</tr>
<tr>
<td colspan="8">FMA-UE: 상부 극단에 대한 Fugl-Meyer 평가; ARAT: 액션 연구 암 테스트</td>
		</tr>
</tbody></table>표 1. 모집된 참가자의 인구 통계 및 임상 정보.
이 연구 결과에 있는 두 단에 대한 상호 포함 기준은: 1) 18 세 이상, 2) 손상되었지만 결석한 손 기능, 3) 상지 운동에 영향을 미치는 그밖 신경 근골격계 켈레탈 질병의 부재, 4) 상반신 관절의 기형 없음 및 5) 상반신을 움직일 때 고통의 부재. 두 그룹 각각에 대한 추가 포함 기준은 다음과 같습니다.
cSCI를 가진 개별을 위해: 1) 척수 상해의 신경분류를 위한 국제 기준에 따라 C4와 C8 사이 상해의 신경학상 수준 (ISNCSCI), 2) 미국 척추 상해 협회 손상 규모 (AIS) 등급 A-D. 3) 외상성 또는 비 외상성 부상, 4) 적어도 하나의 사지에 대한 10과 23 사이의 일방적 인 ISNCSCI 상부 사지 모터 점수 (UEMS).
뇌졸중을 가진 개인의 경우: 1) 적어도 6 개월 뇌졸중 후, 2) 행동 연구 암 테스트에 총 점수 (ARAT) 보다 큰 10, 3) 몬트리올 인지 평가 (MoCA) 점수 이상 21 잠재적인 어려움 이해 및 연구 절차 다음을 피하기 위해.
콘텐츠 및 녹화된 비디오의 길이 여기에 제시된 분석에 사용된 동영상은 23명의 참가자 중 22명이었습니다. 나머지 참가자(cSCI를 가진 사람)는 6개월 가까이 연구팀과 연락이 닿지 않고 사용 가능한 데이터 없이 카메라를 반환했으며, 나머지 분석에는 포함되지 않았다. 이와 같이, 제안된 프로토콜은 참가자의 95.7%를 위해 성공적이었습니다. 평균적으로 참가자들은 5개 이상의 활동을 기록했습니다. 영상 녹화에 포함된 활동은 식사 준비, 식사, 식기 세척,신체 활동 및 뜨개질(그림 2)이었다. 평균 3.11 ± 0.98 h의 비디오는 동의를 제공하지 않은 다른 개인이 있거나 데이터를 전혀 사용할 수 없는 세그먼트를 폐기한 후 참가자당 0.98h의 비디오를 얻었습니다(예: 카메라가 테이블에 녹화된 상태로 남아 있음). 또한 참가자 당 일일 평균 비디오 녹화 길이는 60 ± 33 분이었습니다. 3명의 참가자는 질병으로 인해 녹음을 연기했습니다. 대부분의 참가자들은 합의된 일정에 따라 비디오를 녹화했지만 이마에 대한 무게와 열로 인해 1 시간 이상 카메라를 착용하는 것이 피곤하고 불편하다고 보고했습니다. 추가 녹음은 필요한 경우 3h 비디오 지속 시간 목표를 충족하도록 예약되었습니다. 3시간의 비디오를 획득하는 데 필요한 평균 녹화 기간은 22.3 ± 12.9d였습니다. 녹화 기간은 12에서 69 d까지 다양하며 참가자가 카메라를 받은 날부터 반환 된 날까지 계산했습니다. 4개의 경우에, 얻은 비디오의 길이는 건강 상태 또는 일정 제약조건으로 인해 3h 목표보다 낮았다. 두 명의 참가자가 가족의 책임으로 인해 2 시간 이상의 동영상을 녹화하는 데 2 개월 이상이 걸렸습니다. 또 다른 참가자는 2주 동안 거의 2h의 동영상을 녹화한 다음 여행 계획으로 인해 카메라를 반환하기로 결정했습니다. 다른 참가자는 실수로 녹화된 모든 비디오를 삭제했으며 추가 녹화 일정이 예약된 후 가족의 책임으로 인해 1h의 비디오만 제공할 수 있었습니다.
지속 시간 의 변화 외에도 손 가시성은 비디오의 품질에 영향을 미쳤습니다. 일부 기록된 활동은 신체 훈련과 오버헤드 캐비닛의 물체에 도달하는 것과 같이 손을 명확하게 보여주지 못했습니다. 손은 뇌졸중을 가진 두 참가자의 3 ADL에 표시되지 않았습니다. 신체 훈련에 관해서는, 한 참가자는 상두근 운동과 뒤뜰에서 테니스를 하기 위해 탄성 밴드를 사용하고 있었습니다. 팔의 움직임이 크고 빠르기 때문에 비디오의 손이 항상 보이지는 않았습니다. 넓은 범위의 상지 움직임을 필요로하는 활동 외에도 대부분의 기록 된 AL은 허리와 어깨 사이의 작업 공간 내에서 수행되었으며, 손은 녹음에서 볼 수 있습니다.
<img alt="Equation Figure 2" class="xfigimg" src="/files/ftp_upload/61898/61898fig02.jpg" style="font-size: 14px;"> 그림 2. 획득한 비디오에서 자주 기록되는 두 개의 AL의 예입니다. (A) 식사 준비. (B) 접시 세척. <a href="https://www-jove-com.remotexs.ntu.edu.sg/files/ftp_upload/61898/61898fig02large.jpg" style="font-size: 14px;" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a> 
필요한 지원 22명 중 6명(27%)이 집에서 녹음 기간 동안 연구팀의 도움을 필요로 했습니다. 평균적으로 각 도움말 통화는 5-10분이 걸렸습니다. 가정 방문이 필요하지 않았습니다. 배터리 변경, 블루투스 연결, Wi-Fi 연결, 태블릿의 비디오 검토 및 트리밍, 태블릿에서 녹음 제어와 관련된 어려움이 발생했습니다. 이러한 문제를 해결하기 위해 다음과 같은 전략이 채택되었습니다.
배터리 교체가 손 기능이 손상된 개인에게는 어려울 수 있기 때문에 연구원은 충전 케이블을 사용하여 카메라를 충전할 것을 제안했습니다. 카메라 태블릿 연결(예: Wi-Fi 및 Bluetooth 문제)과 관련된 기술적 문제와 태블릿에서 비디오를 검토하기 위한 경우, 연구자들은 절차를 통해 참가자들을 구두로 안내했습니다. 동영상 트리밍과 관련된 문제의 경우 참가자가 의도치 않게 녹화된 다른 동영상을 삭제하지 않도록 직접 연구자에게 비디오를 반환할 때 지원이 제공되었습니다. 참가자가 태블릿을 사용하여 녹화를 시작하고 중지할 수 없는 경우 녹화 버튼을 클릭하여 비디오 녹화의 시작 및 중지를 제어하여 카메라를 단독으로 사용하라는 지시를 받았습니다.
개인 정보 보호 문제 이전 결과 와 일치21,대부분의 참가자와 그 가족 구성원은 집에서 ADL을 기록에 대한 개인 정보 보호 우려를보고하지 않았다. 참가자의 한 가족 구성원은 비디오에 포함되기를 꺼렸고 참가자는 상황을 피할 수있었습니다. 총 한 참가자가 반환된 비디오를 트리밍하는 데 도움을 받았습니다. 집에서 자기 중심 동영상 의 수집에 대한 참가자의 견해에 대한 질적 분석은 다른 곳에서보고될 것이지만, 개인 정보 보호 고려 사항은 이러한 연구에서 데이터 수집에 장애물을 초래하지 않았습니다. 이 프로토콜에서 ADL은 공공 장소에서 개인 정보 보호 문제를 방지하기 위해 가정 환경에서 기록되었습니다. 참가자 외에도 참가자의 15 명의 방관자 (간병인 및 가족 구성원 포함)가 반환 된 비디오에 포함되었으며 연구에 포함되는 데 동의했습니다. 동영상에 포함된 15명의 방관자 중 6명은 얼굴이 보이지 않았기 때문에 신원을 알아볼 수 없었습니다. 또한, 뇌졸중을 앓고 있는 참가자 2명의 가족 구성원으로부터 약 20분 분량의 동영상이 삭제되었습니다.
보충 재료. <a href="https://www-jove-com.remotexs.ntu.edu.sg/files/ftp_upload/61898/Supplemental%20Files%20-%20Final%20-%20Clean.docx" style="font-size: 14px;" target="_blank">이 파일을 다운로드하려면 여기를 클릭하십시오.</a>

Watch this Scientific Journal Video about Capturing Representative Hand Use at Home Using Egocentric Video in Individuals with Upper Limb Impairment at JoVE.com

Capturing Representative Hand Use at Home Using Egocentric Video in Individuals with Upper Limb Impairment

프로토콜은 자기 중심의 카메라를 사용하여 일상 생활 중에 손 장애가있는 개인의 자연스러운 손 기능을 캡처하는 것이 좋습니다. 프로토콜의 목표는 집에서 일상 생활의 활동 중에 녹음이 개인의 전형적인 손 사용을 대표하는지 확인하는 것입니다.

팔다리 장애가 있는 개인의 자기 중심 비디오를 사용하여 집에서 대표손 사용 캡처

Impaired hand function after neurological injuries can have a major impact on independence and quality of life. Most existing upper limb assessments are ...

capturing-representative-hand-use-at-home-using-egocentric-video

Nanyang Technological University

Research

JoVE Journal

Bioengineering

2.5K 조회수.  University of Toronto. 프로토콜은 자기 중심의 카메라를 사용하여 일상 생활 중에 손 장애가있는 개인의 자연스러운 손 기능을 캡처하는 것이 좋습니다. 프로토콜의 목표는 집에서 일상 생활의 활동 중에 녹음이 개인의 전형적인 손 사용을 대표하는지 확인하는 것입니다.

비디오: Capturing Representative Hand Use at Home Using Egocentric Video in Individuals with Upper Limb Impairment

Using Virtual Reality to Transfer Motor Skill Knowledge from One Hand to Another

As far as acquiring motor skills is concerned, training by voluntary physical movement is superior to all other forms of training (e.g. training by observation or passive movement of trainee&#39;s hands by a robotic device). This obviously presents a major challenge in the rehabilitation of a paretic limb since voluntary control of physical movement is limited. Here, we describe a novel training scheme we have developed that has the potential to circumvent this major challenge. We exploited the voluntary control of one hand and provided real-time movement-based manipulated sensory feedback as if the other hand is moving. Visual manipulation through virtual reality (VR) was combined with a device that yokes left-hand fingers to passively follow right-hand voluntary finger movements. In healthy subjects, we demonstrate enhanced within-session performance gains of a limb in the absence of voluntary physical training. Results in healthy subjects suggest that training with the unique VR setup might also be beneficial for patients with upper limb hemiparesis by exploiting the voluntary control of their healthy hand to improve rehabilitation of their affected hand.

We describe a novel virtual-reality based setup which exploits voluntary control of one hand to improve motor-skill performance in the other (non-trained) hand. This is achieved by providing real-time movement-based sensory feedback as if the non-trained hand is moving. This new approach may be used to enhance rehabilitation of patients with unilateral hemiparesis.

가상 현실을 사용 하 여 다른 한 손으로에서 모터 기술 지식을 전송 하

As far as acquiring motor skills is concerned, training by voluntary physical movement is superior to all other forms of training (e.g. training by ...

연구

행동분석학

Frame-by-Frame Video Analysis of Idiosyncratic Reach-to-Grasp Movements in Humans

Prehension, the act of reaching to grasp an object, is central to the human experience. We use it to feed ourselves, groom ourselves, and manipulate objects and tools in our environment. Such behaviors are impaired by many sensorimotor disorders, yet our current understanding of their neural control is far from complete. Current technologies for investigating human reach-to-grasp movements often utilize motion tracking systems that can be expensive, require the attachment of markers or sensors to the hands, impede natural movement and sensory feedback, and provide kinematic output that can be difficult to interpret. While generally effective for studying the stereotypical reach-to-grasp movements of healthy sighted adults, many of these technologies face additional limitations when attempting to study the unpredictable and idiosyncratic reach-to-grasp movements of young infants, unsighted adults, and patients with neurological disorders. Thus, we present a novel, inexpensive, and highly reliable yet flexible protocol for quantifying the temporal and kinematic structure of idiosyncratic reach-to-grasp movements in humans. High speed video cameras capture multiple views of the reach-to-grasp movement. Frame-by-frame video analysis is then used to document the timing and magnitude of pre-defined behavioral events such as movement start, collection, maximum height, peak aperture, first contact, and final grasp. The temporal structure of the movement is reconstructed by documenting the relative frame number of each event while the kinematic structure of the hand is quantified using the ruler or measure function in photo editing software to calibrate 2 dimensional linear distances between two body parts or between a body part and the target. Frame-by-frame video analysis can provide a quantitative and comprehensive description of idiosyncratic reach-to-grasp movements and will enable researchers to expand their area of investigation to include a greater range of naturalistic prehensile behaviors, guided by a wider variety of sensory modalities, in both healthy and clinical populations.

This protocol describes how to use frame-by-frame video analysis to quantify idiosyncratic reach-to-grasp movements in humans. A comparative analysis of reaching in sighted versus unsighted healthy adults is used to demonstrate the technique, but the method can also be applied to the study of developmental and clinical populations.

Prehension, the act of reaching to grasp an object, is central to the human experience. We use it to feed ourselves, groom ourselves, and manipulate ...

Measuring the Kinematics of Daily Living Movements with Motion Capture Systems in Virtual Reality

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based assessments of IADL are easy to use but prone to subjective bias. Here, we describe a novel virtual reality (VR) test to assess two complex IADL tasks: handling financial transactions and using public transportation. While a participant performs the tasks in a VR setting, a motion capture system traces the position and orientation of the dominant hand and head in a three-dimensional Cartesian coordinate system. Kinematic raw data are collected and converted into &#39;kinematic performance measures,&#39; i.e., motion trajectory, moving distance, and time to completion. Motion trajectory is the path of a particular body part (e.g., dominant hand or head) in space. Moving distance refers to the total distance of the trajectory, and time to completion is how long it took to complete an IADL task. These kinematic measures could discriminate patients with cognitive impairment from healthy controls. The development of this kinematic measuring protocol allows detection of early IADL-related cognitive impairments.

We designed a virtual reality test to assess instrumental activities of daily living (IADL) with a motion capture system. We propose a detailed kinematic analysis to interpret the participant&#39;s various movements, including trajectory, moving distance, and time to completion to evaluate IADL capabilities.

가상 현실에서의 일상 생활 움직임 모션 캡처 시스템의 기구학을 측정

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based ...

Characterization of the Sense of Agency over the Actions of Neural-machine Interface-operated Prostheses

This work describes a methodological framework that can be used to explicitly and implicitly characterize the sense of agency developed over the neural-machine interface (NMI) control of sensate virtual or robotic prosthetic hands. The formation of agency is fundamental in distinguishing the actions that we perform with our limbs as being our own. By striving to incorporate advanced upper-limb prostheses into these same perceptual mechanisms, we can begin to integrate an artificial limb more closely into the user&#39;s existing cognitive framework for limb control. This has important implications in promoting user acceptance, use, and effective control of advanced upper-limb prostheses. In this protocol, participants control a virtual prosthetic hand and receive kinesthetic sensory feedback through their preexisting NMIs. A series of virtual grasping tasks are performed and perturbations are systematically introduced to the kinesthetic feedback and virtual hand movements. Two separate measures of agency are employed: established psychophysical questionnaires (to capture the explicit experience of agency) and a time interval estimate task to capture the implicit sense of agency (intentional binding). Results of this protocol (questionnaire scores and time interval estimates) can be analyzed to quantify the extent of agency formation.

Here we present a protocol which characterizes the sense of agency developed over the control of sensate virtual or robotic prosthetic hands. Psychophysical questionnaires are employed to capture the explicit experience of agency, and time interval estimates (intentional binding) are employed to implicitly measure the sense of agency.

감각 신경-기계 인터페이스 운영 무생물의 작업을 통해 기관의 특성

This work describes a methodological framework that can be used to explicitly and implicitly characterize the sense of agency developed over the ...

Efficiently Recording the Eye-Hand Coordination to Incoordination Spectrum

The objective analysis of eye movements has a significant history and has been long proven to be an important research tool in the setting of brain injury. Quantitative recordings have a strong capacity to screen diagnostically. Concurrent examinations of the eye and upper limb movements directed toward shared functional goals (e.g., eye-hand coordination) serve as an additional robust biomarker-laden path to capture and interrogate neural injury, including acquired brain injury (ABI). While quantitative dual-effector recordings in 3-D afford ample opportunities within ocular-manual motor investigations in the setting of ABI, the feasibility of such dual recordings for both eye and hand is challenging in pathological settings, particularly when approached with research-grade rigor. Here we describe the integration of an eye tracking system with a motion tracking system intended primarily for limb control research to study a natural behavior. The protocol enables the investigation of unrestricted, three-dimensional (3D) eye-hand coordination tasks. More specifically, we review a method to assess eye-hand coordination in visually guided saccade-to-reach tasks in subjects with chronic middle cerebral artery (MCA) stroke and compare them to healthy controls. Special attention is paid to the specific eye- and limb-tracking system properties in order to obtain high fidelity data from participants post-injury. Sampling rate, accuracy, permissible head movement range given anticipated tolerance and the feasibility of use were several of the critical properties considered when selecting an eye tracker and an approach. The limb tracker was selected based on a similar rubric but included the need for 3-D recording, dynamic interaction and a miniaturized physical footprint. The quantitative data provided by this method and the overall approach when executed correctly has tremendous potential to further refine our mechanistic understanding of eye-hand control and help inform feasible diagnostic and pragmatic interventions within the neurological and rehabilitative practice.&#160;

Cerebral injury can damage both ocular and somatic motor systems. Characterization of motor control post-injury affords biomarkers that assist in disease detection, monitoring, and prognosis. We review a method to measure eye-hand movement control in health and in pathologic incoordination, with look-and-reach paradigms to assess coordination between eye and hand.

눈 손 조화 Incoordination 스펙트럼을 효율적으로 기록

The objective analysis of eye movements has a significant history and has been long proven to be an important research tool in the setting of brain ...

Virtual Hand with Ambiguous Movement between the Self and Other Origin: Sense of Ownership and 'Other-Produced' Agency

The feeling that a body part is one&#8217;s own body (sense of ownership; SoO) and the feeling based on the causal relationship between one&#8217;s will and action (sense of agency; SoA) have been recognized as the basis of our bodily self-consciousness. Previously, the illusory SoO over a fake body part (e.g., rubber hand) was introduced as the rubber hand illusion (RHI). Furthermore, it was determined that one could also evoke a SoA over an object with movements linked to the one&#8217;s prior intention. On the other hand, the postdictivity of our spontaneity implies that it is essentially inseparable whether actions originate from self or others. In other words, our SoA or daily experiences are obtained in such as inseparable scenario. Previous research, however, has maintained the premise that self- and other-origin movements are perceptually distinguishable. Here, we implement a protocol to make these aspects ambiguous for the participants and to estimate whether they can feel SoO and/or SoA and how. To this end, we employ an experiment using virtual reality, under which participants observe virtual fingers moving very slowly (or quickly or not moving) while their own fingers do not move. For evaluation of the illusory SoO, measurements of skin conductance responses against a knife threat are adopted. Additionally, we introduce face-to-face interviews to determine whether the feelings regarding the slow movement match the conventional SoA definition. Our representative results suggest that the SoO is evoked over the hand, and various attitudes to accept its movement as the participant&#8217;s own with awareness that they did not originate it are reported by the majority. As the results show, the novelty of this protocol is discovering that in such a situation, the SoO cooperates with an externally produced SoA to establish one&#8217;s own bodily experience rather than the independence of the SoO and SoA.

While previous research on bodily self-consciousness assumed that self- and other-origin movements were perceptually distinguishable, this protocol allows them to be ambiguous on a virtual hand with unintentional slight movements. This enables us to observe one&#8217;s experience formed by SoO and other-produced SoA, rather than the absence of SoA.

자아와 다른 기원 사이의 모호한 움직임과 가상의 손 : 소유권의 감각과 '다른 생산'기관

The feeling that a body part is one&#8217;s own body (sense of ownership; SoO) and the feeling based on the causal relationship between one&#8217;s will ...

Kinematic Analysis Using 3D Motion Capture of Drinking Task in People With and Without Upper-extremity Impairments

Kinematic analysis is a powerful method for objective assessment of upper extremity movements in a three-dimensional (3D) space. Three-dimensional motion capture with an optoelectronic camera system is considered as golden standard for kinematic movement analysis and is increasingly used as outcome measure to evaluate the movement performance and quality after an injury or disease involving upper extremity movements. This article describes a standardized protocol for kinematic analysis of drinking task applied in individuals with upper extremity impairments after stroke. The drinking task incorporates reaching, grasping and lifting a cup from a table to take a drink, placing the cup back, and moving the hand back to the edge of the table. The sitting position is standardized to the individual&#39;s body size and the task is performed in a comfortable self-paced speed and compensatory movements are not constrained. The intention is to keep the task natural and close to a real-life situation to improve the ecological validity of the protocol. A 5-camera motion capture system is used to gather 3D coordinate positions from 9 retroreflective markers positioned on anatomical landmarks of the arm, trunk, and face. A simple single marker placement is used to ensure the feasibility of the protocol in clinical settings. Custom-made Matlab software provides automated and fast analyses of movement data. Temporal kinematics of movement time, velocity, peak velocity, time of peak velocity, and smoothness (number of movement units) along with spatial angular kinematics of shoulder and elbow joint as well as trunk movements are calculated. The drinking task is a valid assessment for individuals with moderate and mild upper extremity impairment. The construct, discriminative and concurrent validity along with responsiveness (sensitivity to change) of the kinematic variables obtained from the drinking task have been established.

This protocol describes an objective method to evaluate the movement performance and sensorimotor function of the upper extremity applied to individuals with stroke and healthy controls. A standardized test procedure, kinematic analysis and outcome variables for three-dimensional motion capture of drinking task are provided.

Kinematic analysis is a powerful method for objective assessment of upper extremity movements in a three-dimensional (3D) space. Three-dimensional motion ...

신경과학

Development of a Novel Task-oriented Rehabilitation Program using a Bimanual Exoskeleton Robotic Hand

A robot-assisted hand is used for the rehabilitation of patients with impaired upper limb function, particularly for stroke patients with a loss of motor control. However, it is unclear how conventional occupational training strategies can be applied to the use of rehabilitation robots. Novel robotic technologies and occupational therapy concepts are used to develop a protocol that allows patients with impaired upper limb function to grasp objects using their affected hand through a variety of pinching and grasping functions. To conduct this appropriately, we used five types of objects: a peg, a rectangular cube, a cube, a ball, and a cylindrical bar. We also equipped the patients with a robotic hand, the Mirror Hand, an exoskeleton&#160;hand that is fitted to the subject&#8217;s affected hand and follows the movement of the sensor glove fitted to their unaffected hand (bimanual movement training (BMT)). This study had two stages. Three healthy subjects were first recruited to test the feasibility and acceptability of the training program. Three patients with hand dysfunction caused by stroke were then recruited to confirm the feasibility and acceptability of the training program, which was conducted on 3 consecutive days. On each day, the patient was monitored during 5 min of movement in a passive range of motion, 5 min of robot-assisted bimanual movement, and task-oriented training using the five objects. The results showed that both healthy subjects and subjects who had suffered a stroke in conjunction with the robotic hand could successfully grasp the objects. Both healthy subjects and those who had suffered a stroke performed well with the robot-assisted task-oriented training program in terms of feasibility and acceptability.

This study reports the development of a novel robot-assisted task-oriented program for hand rehabilitation. The developmental process consists of experiments using both healthy subjects and subjects who have had a stroke and suffered from subsequent motor control dysfunction.

바이매뉴얼 외골격 로봇 핸드를 이용한 새로운 과제 지향 재활 프로그램 개발

A robot-assisted hand is used for the rehabilitation of patients with impaired upper limb function, particularly for stroke patients with a loss of motor ...

의학

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for state-of-the-art prosthetics and optimized rehabilitation. Surface electromyography (sEMG), in conjunction with deep learning methods, is considered a promising method in this domain. However, current methods often rely on cumbersome recording setups and the identification of static hand positions, limiting their effectiveness in real-world applications. The protocol we report here presents an advanced approach combining a wearable surface EMG and finger&#160;tracking system to capture comprehensive data during dynamic hand movements. The method records muscle activity from soft printed electrode arrays (16 electrodes) placed on the forearm as subjects perform gestures in different hand positions and during movement. Visual instructions prompt subjects to perform specific gestures while EMG and finger positions are recorded. The integration of synchronized EMG recordings and finger tracking data enables comprehensive analysis of muscle activity patterns and corresponding gestures. The reported approach demonstrates the potential of combining EMG and visual tracking technologies as an important resource for developing intuitive and responsive gesture recognition systems with applications in prosthetics, rehabilitation, and interactive technologies. This protocol aims to guide researchers and practitioners, fostering further innovation and application of gesture recognition in dynamic and real-world scenarios.

The paper presents a comprehensive protocol for simultaneously recording hand-electromyography (EMG) and visual finger tracking during natural finger gesturing. The visual data is designed to serve as the ground truth for the development of accurate EMG-based computational models for finger gesture recognition.

고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

생체공학

Brain-Computer Interface-controlled Upper Limb Robotic System for Enhancing Daily Activities in Stroke Patients

This study introduces a Brain-Computer Interface (BCI)-controlled upper limb assistive robot for post-stroke rehabilitation. The system utilizes electroencephalogram (EEG) and electrooculogram (EOG) signals to help users assist upper limb function in everyday tasks while interacting with a robotic hand. We evaluated the effectiveness of this BCI-robot system using the Berlin Bimanual Test for Stroke (BeBiTS), a set of 10 daily living tasks involving both hands. Eight stroke patients participated in this study, but only four participants could adapt to the BCI robot system training and perform the postBeBiTS. Notably, when the preBeBiTS score for each item was four or less, the BCI robot system showed greater assistive effectiveness in the postBeBiTS assessment. Furthermore, our current robotic hand does not assist with arm and wrist functions, limiting its use in tasks requiring complex hand movements. More participants are required to confirm the training effectiveness of the BCI-robot system, and future research should consider using robots that can assist with a broader range of upper limb functions. This study aimed to determine the BCI-robot system's ability to assist patients in performing daily living activities.

This study introduces a brain-computer interface (BCI) system for stroke patients, which combines electroencephalography and electrooculography signals to control an upper limb robotic hand, enhancing daily activities. The evaluation used the Berlin Bimanual Test for Stroke (BeBiTS).