[데이터 리뷰] AIHUB(안전) - 이상행동 CCTV 영상 데이터

데이터 리뷰 : 데이터 대신 읽어드립니다!
#41 AIHUB(안전) - 이상행동 CCTV 영상 데이터

 

 

 

 

 CCTV 영상 데이터는 개인정보보호법이나 CCTV 설치 기관의 운영 규정 등의 문제로 규제가 심한 부문 중 하나인데요, 이렇게 공개가 가능한 CCTV 영상이 부족하다 보니 사실상 민간기업의 AI 기술 발전에 큰 제약이 된다고 합니다. 하지만 현재 미국, 유럽 등의 AI 선도국에서는 정부와 민간인의 협업을 통해 대규모 데이터를 구축하여 공개하여 다양한 영역에서의 AI 발전을 도모하고 있다고 합니다. 하지만 그렇다고 해외에 공개된 CCTV 영상은 한국의 환경이나 인종 등 요소가 다르기 때문에 학습을 시킨다 해도 우리나라에 상용화시키기 어려울 수 있습니다. 

 

이와 관련하여 AIHUB 플랫폼에서는 '이상행동 CCTV 영상' 데이터를 제공하고 있는데요, 한국형 CCTV 영상 데이터의 필요성에 따라 정부차원에서 관리하는 5대 중대범죄 중심의 이상행동 정의 및 그에 따른 AI 학습용 CCTV 영상 데이터를 구축한 데이터라고 합니다. 그렇다면, 오늘 데이터 리뷰기에서는 이 데이터가 어떻게 이루어져 있는지 살펴보고, 어떻게 분석 및 활용하면 좋을지 생각해보도록 하겠습니다!

 

 

 

 

 

이상행동 CCTV 영상 데이터

 

(1) 데이터 정보

• 제공기관 : 마인즈랩
• 데이터 개수 : 700시간(영상물)
• 데이터 형식 : mp4, xml
• 데이터 구성 : CCTV 동영상 mp4 파일, 정보 xml 파일(영상 길이, 프레임 수, 장소, 날씨, 시간대, 이상행동 명, 이상행동 발생시간, 지속시간 등)
• 다운로드 : https://aihub.or.kr/aidata/139

 

'이상행동 CCTV 영상' 데이터는 12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이터폭력 및 추행, 납치, 주취행동)을 촬영한 총 717시간의 영상 데이터셋으로 구축되어 있습니다.

또한 각 영상 데이터셋은 CCTV 동영상 mp4 파일과 각 동영상 내의 행동 및 anomaly를 포함하는 이벤트 등의 정보를 가지고 있는 xml 형식의 텍스트 파일로 이루어져 있습니다.

 

한편, 위에 다운로드 링크로 들어가면 회원가입 또는 로그인 후 데이터를 다운받을 수 있는데요, 그렇다면 데이터를 다운받아서 한번 데이터가 어떻게 이루어져 있는지 살펴보도록 하겠습니다~

 

 

(2) 데이터 리뷰

 데이터를 다운로드하면, 영상 데이터와 해당 영상에 대한 xml 파일 형식의 데이터가 있는 것을 확인할 수 있는데요, 영상은 12가지의 이상행동 : 폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이터폭력 및 추행, 납치, 주취행동에 대해 총 8436개의 영상으로 구성되어 있습니다. 그럼 이 중에서 대표적으로 폭행 영상을 한번 살펴볼까요~?

 

 

영상을 보면, 학생으로 보이는 4명의 사람들이 등장하는데요, 계속 영상을 확인하면 3명이 1명을 상대로 일방적으로 괴롭히는 모습이 나옵니다.

 

 

그리고 후반부에 몇 번의 폭행이 이루어지는데요, 그 모습을 확인할 수 있습니다.

 

 

이렇게 이상행동 - '폭행'에 대한 영상 데이터를 한번 봤는데요, 연기자가 폭행을 하는 연기를 한 것이지만 실제 상황처럼 연출되었음을 확인할 수 있습니다.

 

한편, 각 영상마다 정보 xml 파일이 있는데요, 아래 텍스트는 위 영상에 대한 정보를 담고 있는 xml 파일의 일부입니다.

 

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<annotation>
    <folder>assault</folder>
    <filename>7-4_cam02_assault01_place04_day_summer.mp4</filename>
    <source>
        <database>NIA2019 Database v1</database>
        <annotation>NIA2019</annotation>
    </source>
    <size>
        <width>3840</width>
        <height>2160</height>
        <depth>3</depth>
    </size>
    <header>
        <duration>03:41.5</duration>
        <fps>30</fps>
        <frames>8970</frames>
        <inout>OUT</inout>
        <location>PLACE04</location>
        <season>SUMMER</season>
        <weather>SUNNY</weather>
        <time>DAY</time>
        <population>4</population>
        <character>M10,M10,M10,M10</character>
    </header>
    <event>
        <eventname>assault</eventname>
        <starttime>01:12.7</starttime>
        <duration>03:41.5</duration>
    </event>
 <object>
        <objectname>person_1</objectname>
        <position>
            <keyframe>2181</keyframe>
            <keypoint>
                <x>1905</x>
                <y>528</y>
            </keypoint>
        </position>
        <action>
            <actionname>punching</actionname>
            <frame> <start>2181</start> <end>2274</end> </frame>
            <frame> <start>3370</start> <end>3467</end> </frame>
            <frame> <start>7087</start> <end>7159</end> </frame>
            <frame> <start>7275</start> <end>7395</end>

 

위 텍스트 데이터를 보면 상단에 영상 크기 정보(size), 시나리오 정보(header)를 통해 영상 사이즈, 영상 길이, 프레임 수, 영상 속 계절과 날씨 및 장소, 사람 수에 대한 정보를 알 수 있습니다. 또한 중반부에는 이상행동 정보(event) 태그에 있는 이상행동 명, 이상행동 발생 시간, 이상행동 지속 시간에 대해 알 수 있습니다. 따라서 해당 데이터에 따라 위 영상이 '폭행'에 대한 영상이며, 이상행동 발생 시간은 01:12.7초부터 03:41.5초 동안 진행되었다는 것을 알 수 있습니다. 마지막으로 하단에 이상행위 정보(object)를 알 수 있는데요, 여기서 object는 각 사람을 지칭하며 object 명, 위치 정보, action 정보(punching-주먹휘두름 등)를 알 수 있습니다. 

 

따라서 영상 데이터와 이 텍스트 데이터를 종합하여 영상 속 이상행동이 발생했을 때의 각 사람(object)의 위치, 이상행동 및 행위 등을 프레임 단위로 파악할 수 있습니다.

 

 

(3) 데이터 활용

 그럼 '이상행동 CCTV 영상' 데이터를 이용하여 어떻게 활용하면 좋을까요~? 우선 CCTV 영상 데이터인 점을 고려하여 공공분야의 지능형 CCTV 분야에 활용할 수 있을 텐데요, 공공 보안용 CCTV에서 폭행, 싸움, 절도 등 이상행동이 발생했을 때 이를 검출 및 감지하도록 인공지능 모델을 학습시켜 안전 알림 시스템을 구현할 수 있지 않을까 싶습니다. 좀더 구체적인 서비스로 설명하자면, CCTV에서 인공지능이 학습한 이상행동이 지속적으로 검출된다면 CCTV를 관리하는 자치단체 및 공공기관이나 경찰서에 알림이 가도록 하는 서비스를 구현하여 범죄나 위험 행동 들을 방지하는 서비스를 만들 수 있지 않을까 싶습니다. 

 

또한 폭행, 싸움 뿐만 아니라 다양한 장소에서의 기물파손, 침입, 배회, 투기 등 이상행동의 모습을 담은 해당 영상 데이터를 학습시킴으로써 치안 안전이 열악한 도로변이나 주택가, 어두운 골목길 CCTV에 적용하여 특수범죄, 안전사고 등을 예방할 수 있지 않을까 싶습니다-!

 

 

 

 

 

 

# AIHUB

 

https://aihub.or.kr/

 

 오늘 리뷰한 '이상행동 CCTV 영상' 데이터는 <AIHUB(AI 허브)>에서 다운로드 받은 '안전' 카테고리의 데이터로, AI 허브는 AI 기술 및 제품, 서비스 개발에 필요한 AI 인프라(AI데이터, AISWAPI, 컴퓨팅 자원)를 지원함으로써 누구나 활용하고 참여하는 AI통합 플랫폼입니다! 따라서 사용자를 위해 개발 및 활용을 위한 인프라 서비스와 AI 활성화를 위한 서비스를 제공하고 있는 것인데요, 현재 위와 같이 음성/자연어, 비전, 헬스케어, 자율주행 등 다양한 카테고리에 걸친 데이터들을 제공하고 있답니다.

 

 

한편, 오늘 살펴본 데이터는 '안전' 카테고리에 있는 데이터였는데요, 안전 카테고리는 화재, 교통안전문제, 위급상황, 이상행동 등과 관련된 데이터를 제공하는 카테고리입니다. 특히 다른 빅데이터 플랫폼에서는 찾아보기 힘든 데이터들이 제공되고 있고, 실제 우리나라에 있는 지역과 한국인, 한국어 음성 등으로 구축된 데이터들로 이루어져 있기 때문에 우리나라에서 상용화하기 위한 서비스 개발에 활용하기에 매우 적합한 데이터이기도 하답니다. 

 

 

또한 각 데이터 다운로드 페이지에 들어가면 위와 같이 데이터의 구축내용과 필요성, 데이터 구조, 활용예시 등의 정보를 파악할 수 있기 때문에 데이터를 다운로드하기 전에 어떠한 형태로 이루어져 있는지, 데이터를 어떻게 활용하면 좋을지 살펴볼 수 있답니다.

 

 

이렇게 오늘 데이터 리뷰기에서는 AIHUB의 '이상행동 CCTV 영상' 데이터를 리뷰해보았는데요, 다음 리뷰기에서도 동일한 카테고리의 다른 데이터를 리뷰해보도록 하겠습니다. 이전 데이터 리뷰기에서는 소방, 사회 범죄, 해양수산, 헬스케어, 농수산물 등 여러 플랫폼에서 제공하는 데이터 리뷰기가 있으니, 관심이 있으신 분들은 참조하시기 바랍니다! 그럼 다음 리뷰기에서 만나요! :D