[데이터 리뷰] AIHUB(헬스케어) - 피트니스 자세 이미지 데이터

데이터 리뷰 : 데이터 대신 읽어드립니다!
#49 AIHUB(헬스케어) - 피트니스 자세 이미지 데이터

 

 

 

 

 코로나19 등의 영향으로 언택트 시대가 되면서, 피트니스(헬스) 또한 비대면으로 이루어지는 사례를 볼 수 있는데요, 실시간 온라인 화면을 통해서 피트니스 수업을 받거나, 애플리케이션을 이용한 AI 피트니스 서비스가 증가하고 있습니다. 여기서 AI 피트니스 서비스는 실시간으로 사용자의 자세나 동작을 인식 및 판단하면서 운동 동작에 대한 정확한 코칭이 가능하도록 하는 AI 서비스인데요, 이에 대한 서비스 수요가 증대함에 따라 관련 기술 개발이 활발하게 진행 중이라고 합니다.

 

이와 관련하여 AIHUB 플랫폼에서는 '피트니스 자세 이미지' 데이터를 제공하고 있는데요, 다양한 자세와 체형을 가진 사람들로부터 홈트레이닝 동작 및 자세를 촬영한 데이터로 구축되어 있습니다. 그렇다면, 오늘 데이터 리뷰기에서는 이 데이터가 어떻게 이루어져 있는지 살펴보고, 어떻게 분석 및 활용하면 좋을지 생각해보도록 하겠습니다!

 

 

 

 

 

피트니스 자세 이미지 데이터

 

(1) 데이터 정보

• 제공기관 : 슬릭코퍼레이션
• 데이터 개수 : 20만 클립
• 데이터 형식 : jpg, json
• 데이터 구성 : 성별, 체형, 키 크기 등 다양한 피사체를 통해 수집된 30종의 동작(5개의 운동상태) 이미지
• 다운로드 : https://aihub.or.kr/aidata/8051

 

'피트니스 자세 이미지' 데이터는 다양한 자세와 체형을 가진 사람들로부터 3D human pose를 capture하는 것을 넘어, 사람의 다양하고 세밀한 운동 종류 및 상태를 추가적으로 capture 하는 것을 통해 일상생활의 행동을 인식하는 AI 모델을 개발하고자 구축된 데이터입니다. 구체적으로 30종의 동작(5개의 운동상태)을 담은 20만 클립을 촬영하고, 정자세와 오류자세를 구분하여 영상을 취득했다고 합니다.

 

위에 다운로드 링크로 들어가면 회원가입 또는 로그인 후 데이터를 다운받을 수 있는데요, 그렇다면 데이터를 다운받아서 한번 데이터가 어떻게 이루어져 있는지 살펴보도록 하겠습니다~

 

 

(2) 데이터 리뷰

 데이터를 다운로드하면 크게 원천 데이터와 라벨링 데이터로 나누어져 있는데요, 원천 데이터는 피트니스 동작을 촬영한 이미지 데이터로 이루어져 있고, 라벨링 데이터는 이미지에 대한 어노테이션 정보를 담은 텍스트 데이터로 이루어져 있습니다. 그럼 먼저 원천 데이터부터 살펴보겠습니다.

 

 

- 원천 데이터

 

원천 데이터에는 각 피트니스 동작에 대해 촬영한 클립을 캡쳐 이미지로 구축한 데이터셋인데요, 위와 같이 한쪽 다리를 들어 올렸다 내리는 동작에 대한 영상임을 알 수 있습니다. 데이터를 확인해보면 해당 동작에 대해 32개의 이미지로 구축되어 있답니다. 

 

그럼 다른 데이터도 확인해볼까요~?

 

 

이 데이터는 아령을 들었다 올리는 동작으로 해당 동작에 대해 마찬가지로 32개의 이미지로 구성되어 있습니다.

 

한편, 데이터를 전체적으로 확인하면 동일한 사람으로만 촬영한 것이 아니라 성별, 체형, 키 등이 다른 사람들을 통해 촬영이 된 것을 확인할 수 있습니다. 또한 각 사람마다 다양한 각도에서 촬영되었음을 알 수 있는데요, 다양한 각도에서 촬영된 모습은 다음과 같습니다.

 

 

위 이미지를 보면 동일한 사람, 동작에 대해 다양한 각도에서 촬영되었음을 알 수 있습니다!

 

 

- 라벨링 데이터

 

반면, 라벨링 데이터는 위에서 살펴본 각 동작에 대해 메타정보를 담은 json 파일 형식의 데이터인데요, 한 동작(32개 이미지)에 대해서 아래와 같은 형식으로 구축되어 있습니다.

 

{
    "frames": [
        {
            "view1": {
                "pts": {
                    "Nose": { "x": 1052, "y": 332 }, "Left Eye": { "x": 1047, "y": 320 }, "Right Eye": { "x": 1049, "y": 322 }, "Left Ear": { "x": 989, "y": 333 }, "Right Ear": { "x": 1040, "y": 332 }, "Left Shoulder": { "x": 976, "y": 401 }, "Right Shoulder": { "x": 1046, "y": 399 }, "Left Elbow": { "x": 933, "y": 476 }, "Right Elbow": { "x": 1089, "y": 468 }, "Left Wrist": { "x": 971, "y": 545 }, "Right Wrist": { "x": 1059, "y": 533 }, "Left Hip": { "x": 985, "y": 560 }, "Right Hip": { "x": 1029, "y": 560 }, "Left Knee": { "x": 992, "y": 713 }, "Right Knee": { "x": 1037, "y": 724 }, "Left Ankle": { "x": 962, "y": 836 }, "Right Ankle": { "x": 1020, "y": 858 }, "Neck": { "x": 1016, "y": 360 }, "Left Palm": { "x": 985, "y": 553 }, "Right Palm": { "x": 1053, "y": 546 }, "Back": { "x": 1009, "y": 446 }, "Waist": { "x": 1009, "y": 507 }, "Left Foot": { "x": 985, "y": 855 }, "Right Foot": { "x": 1048, "y": 871 } },
                "active": "Yes",
                "img_key": "Day08_201005_F/1/A/033-1-1-21-Z17_A/033-1-1-21-Z17_A-0000001.jpg"
            },
...
(생략)
...
"type": "033",
"type_info": {
       "key": "033",
       "type": "맨몸 운동",
       "pose": "선 자세",
       "exercise": "스탠딩 니업",
       "conditions": [ 
                  { "condition": "시선 정면", "value": true },
                  { "condition": "척추 중립", "value": true },
                  { "condition": "무릎 충분히 올라오고", "value": true },
                  { "condition": "이완시 다리 긴장 유지", "value": true } ],
       "description": "1 시선 정면, 2 척추 중립, 3 무릎 충분히 올라오고, 4 이완시 다리 긴장 유지" } }

 

위 데이터를 확인하면 상단 영역에는 각 신체 부위의 Keypoint 좌표가 적혀 있고, 하단 영역에는 운동 상태에 대한 정의가 이루어져 있는 것을 확인할 수 있습니다. 

 

위 상단영역은 한 동작에서 한 이미지에 대한 데이터를 나타낸 일부분로, 전체 데이터를 확인하면 32개의 데이터가 적혀 있답니다. 한편, 신체 좌표를 보면 얼굴에 있는 신체 부위부터 발끝까지 각 신체 부위마다의 구체적인 좌표를 알 수 있는데요, 이러한 데이터를 이용하여 이미지 상에서 신체 부위 검출 및 포즈 분석을 할 수 있습니다.

 

 

반면, 라벨링 데이터 맨 밑에는 운동 상태에 대한 정의가 있는데요, 해당 동작이 어떤 동작인지, 해당 동작을 할 때 구체적인 자세 및 운동 방법에 대한 내용을 담고 있습니다.

 

(3) 데이터 활용

 '피트니스 자세 이미지' 데이터를 살펴보았는데요, 세밀한 운동 동작과 자세를 인식하는 AI 모델을 만드는 데에 학습데이터로 활용하기에 매우 적합한 데이터입니다. 또한 다양한 체형을 가진 사람들과 다양한 각도에서 촬영되었기 때문에 사람, 장소에 구애받지 않고 홈트레이닝을 할 수 있는 서비스로 구현시킬 수 있는데요, 각 동작에 대한 일련의 이미지와 라벨링 데이터에 있는 keypoint 데이터, 운동 정의 데이터를 이용하여 순서에 맞게 해당 동작을 유도하고, 해당 동작이 인식되면 다음 동작을 유도하는 그런 홈트레이닝 서비스를 구현시킬 수 있지 않을까 싶습니다. 또한 잘못된 자세가 인식되면 이를 지적하고, 올바른 동작이 이루어지면 카운팅을 통해 하나의 홈트레이닝 프로그램을 완료하는 AI 홈트레이닝 서비스를 구현시킬 수 있지 않을까 싶습니다.

 

뿐만 아니라 해당 데이터를 이용하여 일상생활 행동 인식, 재활치료 또는 재활운동 자세 교정 등 사람의 동작 인지에 대한 모든 분야의 학습데이터로 활용할 수 있지 않을까 싶네요-!

 

 

 

 

 

 

# AIHUB

 

 

 오늘 리뷰한 '피트니스 자세 이미지' 데이터는 <AIHUB(AI 허브)>에서 다운로드 받은 '헬스케어' 카테고리의 데이터로, AI 허브는 AI 기술 및 제품, 서비스 개발에 필요한 AI 인프라(AI데이터, AISWAPI, 컴퓨팅 자원)를 지원함으로써 누구나 활용하고 참여하는 AI통합 플랫폼입니다! 따라서 사용자를 위해 개발 및 활용을 위한 인프라 서비스와 AI 활성화를 위한 서비스를 제공하고 있는 것인데요, 현재 위와 같이 음성/자연어, 비전, 헬스케어, 자율주행 등 다양한 카테고리에 걸친 데이터들을 제공하고 있답니다.

 

 

한편, 오늘 살펴본 데이터는 '헬스케어' 카테고리에 있는 데이터였는데요, 헬스케어 카테고리는 질환 및 질병 진단 의료 영상, 인체 자세, 신체 정보 등에 관련된 데이터를 제공하는 카테고리입니다. 특히 개인이 구축하기엔 어려운 의료 데이터들이 많고, 다른 빅데이터 플랫폼에서는 찾아보기 힘든 데이터들이 제공되고 있습니다. 또한 실제 우리나라 사람들로부터 구축된 데이터들로 이루어져 있기 때문에 우리나라에서 상용화하기 위한 서비스 개발에 활용하기에 매우 적합한 데이터이기도 하답니다. 

 

 

또한 각 데이터 다운로드 페이지에 들어가면 위와 같이 데이터의 구축내용과 필요성, 데이터 구조, 활용예시 등의 정보를 파악할 수 있기 때문에 데이터를 다운로드하기 전에 어떠한 형태로 이루어져 있는지, 데이터를 어떻게 활용하면 좋을지 살펴볼 수 있답니다.

 

 

이렇게 오늘 데이터 리뷰기에서는 AIHUB의 '피트니스 자세 이미지' 데이터를 리뷰해보았는데요, 다음 리뷰기에서도 동일한 카테고리의 다른 데이터를 리뷰해보도록 하겠습니다. 이전 데이터 리뷰기에서는 소방, 사회 범죄, 해양수산, 헬스케어, 농수산물 등 여러 플랫폼에서 제공하는 데이터 리뷰기가 있으니, 관심이 있으신 분들은 참조하시기 바랍니다! 그럼 다음 리뷰기에서 만나요! :D