액티비

이 기사는 지나치게 전문적인 용어를 사용하거나 백과사전 기사처럼 작성되지 않을 수 있는 연구 논문이나 과학 저널처럼 쓰여져 있습니다. 백과사전 형식으로 다시 작성하여 개선해 주시기 바랍니다. (2018년 3월) (이 템플릿 메시지 삭제 방법 및 삭제 시기 확인)

액티비티 인식은 에이전트의 액션과 환경조건에 대한 일련의 관찰로부터1개 이상의 에이전트의 액션과 목표를 인식하는 것을 목적으로 합니다.1980년대 이후, 이 연구 분야는 많은 다른 응용 프로그램에 대한 개인화된 지원을 제공하는 강점과 의학, 인간-컴퓨터 상호 작용 또는 사회학과 같은 다양한 연구 분야와의 연결로 인해 몇몇 컴퓨터 과학 커뮤니티의 관심을 끌었다.

그 다면적인 특성 때문에, 다른 분야에서는 활동 인식을 계획 인식, 목표 인식, 의도 인식, 행동 인식, 위치 추정 및 위치 기반 서비스라고 부를 수 있다.

종류들

센서 기반의 싱글 유저 액티비티 인식

센서 기반 활동 인식은 센서 네트워크의 신흥 영역을 새로운 데이터 마이닝 및 기계 학습 기술과 통합하여 광범위한 인간 ^[1][2]활동을 모델링합니다.모바일 기기(예: 스마트폰)는 충분한 센서 데이터와 계산 능력을 제공하여 신체 활동 인식이 일상생활 중 에너지 소비량을 추정할 수 있도록 한다.센서 기반 활동 인식 연구자들은 유비쿼터스 컴퓨터와 센서가 (동의 하에) 에이전트의 행동을 감시할 수 있도록 함으로써 이러한 컴퓨터가 우리를 대신하는 데 더 적합할 것이라고 믿고 있습니다.키넥트와 같은 색상 및 깊이 정보를 통합한 시각적 센서는 보다 정확한 자동 동작 인식을 가능하게 하며 대화형 교육 및 스마트 ^[4]환경과 같은 많은 새로운 애플리케이션을 통합합니다.시각 센서의 다중 뷰를 통해 자동 뷰 불변 동작 ^[5]인식을 위한 기계 학습을 개발할 수 있습니다.3D 모션 캡처 시스템에 사용되는 고급 센서는 보다 복잡한 하드웨어 시스템 ^[6]설정 비용으로 매우 정확한 자동 인식을 가능하게 합니다.

센서 기반 활동 인식 수준

센서 기반 활동 인식은 입력의 고유한 노이즈 특성으로 인해 어려운 작업입니다.따라서, 통계 모델링은 여러 중간 수준에서 인식이 수행되고 연결되는 계층에서 이러한 방향으로의 주요 추력이었습니다.센서 데이터가 수집되는 최하위 레벨에서 통계 학습은 수신된 신호 데이터로부터 에이전트의 자세한 위치를 찾는 방법에 관한 것입니다.중간 수준에서 통계적 추론은 추정된 위치 순서와 낮은 수준의 환경 조건으로부터 개인의 활동을 인식하는 방법에 대해 우려할 수 있다.또한, 가장 높은 수준에서 주요 관심사는 논리적 추론과 통계적 추론의 혼합을 통해 활동 시퀀스에서 에이전트의 전체적인 목표 또는 하위 목표를 찾는 것이다.

센서 기반의 멀티 유저 액티비티 인식

온바디 센서를 사용하는 여러 사용자의 활동을 인식하는 것은 1990년대 초에 활성 배지^[7] 시스템을 사용하는 ORL의 작업에 처음 등장했다.가속도 센서와 같은 다른 센서 기술은 사무실 ^[8]시나리오에서 그룹 활동 패턴을 식별하기 위해 사용되었습니다.지능형 환경에서 다중 사용자의 활동은 구 등에서 다루어진다.^[9]본 연구에서는 가정환경의 센서 판독치로부터 복수의 유저에 대한 액티비티를 인식하는 근본적인 문제를 조사하고, 단일 유저와 멀티 유저 양쪽의 액티비티를 통합 솔루션에서 인식하는 새로운 패턴 마이닝 접근법을 제안한다.

센서 기반 그룹 활동 인식

그룹 활동의 인식은 그룹 ^[10]내 개별 구성원의 활동이 아니라 하나의 개체로서 집단의 행동을 인식하는 것이 목표라는 점에서 단일 또는 다중 사용자 활동 인식과는 근본적으로 다르다.집단행동은 본질적으로 발생하는데, 이는 집단의 행동의 속성이 그 안에 있는 개인의 행동의 속성이나 그 행동의 ^[11]합과는 근본적으로 다르다는 것을 의미합니다.주요 과제는 그룹^[12] 역동성 내에서 개인의 역할과 그룹의 새로운 행동과의 ^[13]관계뿐만 아니라 개별 그룹 구성원의 행동을 모델링하는 것입니다.여전히 해결해야 하는 과제에는 그룹에 참여하는 개인의 행동과 역할의 정량화, 추론 알고리즘에 대한 역할 기술 명시적 모델의 통합, 그리고 매우 큰 그룹과 군중을 위한 확장성 평가가 포함된다.그룹 활동 인식은 군중 관리 및 비상 상황 대응을 위한 애플리케이션뿐만 아니라 소셜 네트워킹 ^[14]및 Quantified Self 애플리케이션도 갖추고 있습니다.

접근

논리 및 추론을 통한 활동 인식

논리 기반 접근법은 관찰된 액션에 대한 논리적으로 일관된 모든 설명을 추적합니다.따라서 모든 가능하고 일관된 계획이나 목표가 고려되어야 한다.Kautz는 계획 인식의 공식 이론을 제공했습니다.그는 계획인식을 제한의 논리적 추론 과정이라고 설명했다.모든 행동과 계획은 한결같이 목표라고 불리며, 인식자의 지식은 이벤트 계층이라고 불리는 일련의 1차 진술로 표현된다.이벤트 계층은 이벤트 ^[15]유형 간의 추상화, 분해 및 기능 관계를 정의하는 1차 논리로 인코딩됩니다.

Kautz의 계획 인식을 위한 일반적인 프레임워크는 최악의 경우 입력 계층의 크기로 측정되는 기하급수적인 시간 복잡성을 가지고 있습니다.Lesh와 Etzioni는 한 걸음 더 나아가 목표 인식을 확대하여 계산적으로 작업을 확대하는 방법을 제시했습니다.계획 라이브러리를 명시적으로 나타내는 Kautz의 접근 방식과는 달리, Lesh와 Etzioni의 접근 방식은 도메인 프리미티브에서 자동 계획 라이브러리 구축을 가능하게 한다.또한, 그들은 대형 계획 ^[16]라이브러리에서 목표 인식을 위한 콤팩트한 표현과 효율적인 알고리즘을 도입했다.

일관성이 없는 계획과 목표는 새로운 액션이 도착하면 반복적으로 배제됩니다.게다가, 그들은 또한 개인의 최근 행동의 샘플이 주어졌을 때 개인의 특이한 행동을 다루기 위해 목표 인식자를 적응시키는 방법을 제시했다.폴락 등은 믿음과 의도 서술에 대한 여러 종류의 주장의 상대적 강도에 대해 알 수 있는 직접적인 주장 모델을 설명했다.

논리 기반 접근법의 심각한 문제는 불확실성을 나타낼 수 없거나 본질적으로 실현 불가능하다는 것이다.이들은 하나의 일관된 접근법을 다른 접근법보다 선호하기 위한 메커니즘을 제공하지 않으며, 두 가지 모두 관찰된 조치를 설명할 수 있을 정도로 일관될 수 있는 한 특정 계획이 다른 계획보다 더 가능성이 높은지 여부를 결정할 수 없다.논리 기반 방법과 관련된 학습 능력도 부족합니다.

논리 기반 활동 인식의 또 다른 접근방식은 응답 집합 ^[17]프로그래밍에 기초한 스트림 추론을 사용하는 것이며, 어느 정도의 모호성/불확실성을 모델링하기 위해 약한 제약을 사용하는 건강 관련 애플리케이션의 ^[18]활동을 인식하는 데 적용되어 왔다.

확률론적 추론을 통한 활동 인식

확률 이론과 통계적 학습 모델은 ^[19]불확실성 하에서 행동, 계획 및 목표에 대한 추론을 위해 활동 인식에 더 최근에 적용되었다.문헌에는 에이전트의 계획과 목표에 대한 추론의 불확실성을 명시적으로 나타내는 몇 가지 접근법이 있다.

호지스와 폴락은 센서 데이터를 입력으로 활용해 커피 ^[20]타기와 같은 일상 활동을 할 때 개인을 식별하기 위한 기계 학습 기반 시스템을 설계했다.인텔 리서치 (시애틀) 랩과 시애틀 워싱턴 대학교는 인간의 ^[21][22][23]계획을 감지하기 위해 센서를 사용하는 데 몇 가지 중요한 작업을 수행했다.이러한 작업 중 일부는 무선 주파수 식별자(RFID)와 위성 위치 확인 시스템(GPS)의 판독치에서 사용자 교통 모드를 추론한다.

시간적 확률론적 모델의 사용은 활동 인식에서 잘 수행되며 일반적으로 비시간적 ^[24]모델을 능가하는 것으로 나타났다.숨겨진 마르코프 모델(HMM)과 보다 일반적으로 공식화된 동적 베이지안 네트워크(DBN)와 같은 생성 모델은 센서 ^{[25][26][27][28]}데이터에서 모델링 활동에서 인기 있는 선택이다.조건부 랜덤 필드(CRF)와 같은 차별적 모델도 일반적으로 적용되며 활동 ^[29][30]인식에서도 우수한 성능을 제공한다.

생성적 모델과 차별적 모델 모두 장단점이 있으며 이상적인 선택은 적용 분야에 따라 달라집니다.활동 인식을 위한 다수의 인기 모델(HMM, CRF) 구현과 함께 데이터 세트를 여기에서 찾을 수 있습니다.

숨겨진 마르코프 모델(HM)과 조건부 무작위장(CRF) 모델과 같은 기존의 시간적 확률론적 모델은 활동과 관측된 센서 데이터 사이의 상관관계를 직접 모델링한다.최근 몇 년 동안, 증가하는 증거는 인간의 ^[26][31][32]행동 데이터에 존재하는 풍부한 계층 구조를 고려하는 계층적 모델의 사용을 지지해 왔다.여기서 핵심 아이디어는 모델이 활동을 센서 데이터와 직접 상관하지 않고 활동을 하위 활동(행동이라고도 함)으로 나누고 그에 따라 기본 상관 관계를 모델링하는 것이다.예를 들어 볶음 요리를 준비하는 활동이 있을 수 있는데, 볶음 요리는 야채를 썰어서 팬에 튀겨 접시에 담는 하위 활동이나 행동으로 나눌 수 있다.이러한 계층적 모델의 예로는 활동 ^[26]인식에서 비계층적 대응물을 유의하게 능가하는 것으로 나타난 계층적 숨겨진 마르코프 모델(LHM)^[31]과 계층적 숨겨진 마르코프 모델(HHM)이 있다.

활동 인식을 위한 데이터 마이닝 기반 접근법

기존의 기계학습 접근법과는 달리 최근 데이터 마이닝에 기반한 접근법이 제안되었습니다.구 등의 연구에서 활동 인식 문제는 패턴 기반 분류 문제로 공식화된다.이들은 데이터의 두 활동 클래스 간의 중요한 변화를 설명하는 차별적 패턴에 기초한 데이터 마이닝 접근방식을 제안하여 통합 ^[33]솔루션에서 순차적, 인터리빙 및 동시 활동을 인식했습니다.길버트 등공간과 시간 모두에서 2D 코너를 사용합니다.계층 프로세스를 사용하여 공간 및 시간적으로 그룹화되며 검색 영역이 증가합니다.계층의 각 단계에서 데이터 마이닝(Apriori 규칙)^[34]을 통해 가장 독특하고 설명적인 특징을 효율적으로 학습합니다.

GPS 기반 활동 인식

위치 기반 활동 인식은 활동을 ^[35][36]인식하기 위해 GPS 데이터에 의존할 수도 있습니다.

센서 사용 현황

비전 기반 활동 인식

다양한 카메라로 촬영된 영상을 통해 에이전트의 동작을 추적하고 이해하는 것은 매우 중요하고 어려운 문제입니다.채용되는 주된 기술은 컴퓨터 비전입니다.비전 기반 활동 인식은 인간-컴퓨터 상호작용, 사용자 인터페이스 설계, 로봇 학습 및 감시와 같은 많은 응용 프로그램을 찾아냈습니다.비전 기반 활동 인식 작업이 자주 나타나는 과학 컨퍼런스는 ICCV와 CVPR이다.

비전 기반 활동 인식에서는 많은 작업이 수행되었습니다.연구진은 단일 카메라, 스테레오, 적외선 등 다양한 방식으로 광학 흐름, 칼만 필터링, 히든 마르코프 모델 등 다양한 방법을 시도했다.또한 연구자들은 단일 보행자 추적, 그룹 추적, 낙하 물체 감지 등 이 주제에 대한 여러 측면을 고려했다.

최근 일부 연구자들은 인간의 활동을 탐지하기 위해 마이크로소프트 키넥트와 같은 RGBD 카메라를 사용하고 있다.깊이 카메라는 일반 2D 카메라가 제공하지 못하는 깊이와 같은 추가 치수를 추가합니다.이러한 깊이 카메라의 감각 정보는 다른 체위를 가진 인간의 실시간 골격 모델을 생성하는데 사용되어 왔다.이 골격 정보는 연구자들이 미지의 ^[37][38]활동을 인식하기 위해 훈련되고 나중에 사용되는 인간 활동을 모델링하기 위해 사용한 의미 있는 정보를 제공합니다.

최근 딥러닝의 비상사태와 함께 RGB 비디오 기반 활동 인식은 빠르게 발전하고 있습니다.RGB 카메라에 의해 캡처된 비디오를 입력으로 사용하여 비디오 분류, 비디오에서의 액티비티 시작과 종료 검출, 액티비티 및 액티비티를 수행하는 사람들의 공간적 시간적 현지화 등 여러 작업을 수행합니다.

비전 기반 활동 인식의 눈부신 진보에도 불구하고, 대부분의 실제 시각적 보안 감시 애플리케이션에 대한 사용은 여전히 ^[39]먼 희망으로 남아 있습니다.반대로 인간의 뇌는 인간의 행동을 인식하는 능력을 완성한 것으로 보인다.이 능력은 습득한 지식뿐만 아니라 주어진 맥락과 논리적 추론에 관련된 정보를 추출하는 적성에 의존합니다.이러한 관찰을 바탕으로 상식적인 추론과 문맥적 및 상식적 지식을 통합함으로써 비전 기반 활동 인식 시스템을 강화하는 것이 제안되었다.

비전 기반 활동 인식 수준

시각 기반 활동 인식에서 계산 프로세스는 종종 인간 감지, 인간 추적, 인간 활동 인식, 그리고 높은 수준의 활동 평가의 네 단계로 나뉜다.

세밀한 액션 현지화

컴퓨터 비전 기반 활동 인식에서 세분화된 동작 국소화는 일반적으로 사람 개체와 그 동작 범주(예^[40]: Segment-Tube)를 묘사하는 이미지별 분할 마스크를 제공한다.동적 마르코프 네트워크, CNN 및 LSTM과 같은 기술은 연속 비디오 프레임 간의 의미적 상관관계를 이용하기 위해 종종 사용된다.

자동 보행 인식

특정한 사람들을 식별하는 한 가지 방법은 그들이 어떻게 걷느냐이다.보행인식 소프트웨어는 사람이 변장을 하고 있더라도 나중에 그 사람을 알아볼 목적으로 사람의 보행 또는 보행 특징 프로파일을 데이터베이스에 기록하는 데 사용할 수 있다.

Wi-Fi 기반 액티비티 인식

널리 이용 가능한 Wi-Fi 신호와 802.11 액세스 포인트를 사용하여 실내 및 도시에서 액티비티 인식을 실행하면 노이즈와 불확실성이 커집니다.이러한 불확실성은 동적 베이지안 네트워크 ^[41]모델을 사용하여 모델링할 수 있습니다.사용자의 인터리빙 목표를 추론할 수 있는 다중 목표 모델에서는 결정론적 상태 전이 모델이 적용된다.^[42]또 다른 가능한 방법은 확률론적 ^[43]접근방식으로 동시 및 인터리빙 활동을 모델링한다.사용자 액션 검출 모델은 Wi-Fi 신호를 세그먼트화하여 가능한 ^[44]액션을 생성할 수 있습니다.

Wi-Fi 인식 기본 모델

와이파이 활동 인식의 주요 생각 중 하나는 신호가 전송 중에 인체를 통과할 때 반사, 회절 및 산란을 일으킨다는 것입니다.연구자들은 이러한 신호로부터 정보를 얻어 인체의 활동을 분석할 수 있다.

정적 전송 모델

이처럼 ^[45]실내에서 무선신호를 전송할 때 벽, 지면, 인체 등 장애물은 반사, 산란, 회절, 회절 등 다양한 효과를 일으킨다.따라서, 수신측은 동시에 다른 패스로부터 복수의 신호를 수신합니다.이것은, 표면이 송신중의 신호를 반사하기 때문입니다.이것은 멀티 패스 효과라고 불립니다.

정적 모델은 직접 신호와 반사 신호라는 두 가지 종류의 신호를 기반으로 합니다.직접 경로에는 장애물이 없기 때문에 직접 신호 전송은 Friis 전송 방정식으로 모델링할 수 있습니다.

${\displaystyle P_{r}=blambda {P_{t}G_{r}\lambda ^{2}}{(4\pi)^{2}d^{2}}}}$

${\displaystyle P_{}}$t {\$displaystyle P_{$t}}는$$ 송신 안테나 입력 단자에 공급되는 전력입니다.

${\displaystyle P_{}}$r \ $displaystyle P_{r}$ 은$$ 수신 안테나 출력 단자에서 사용 가능한 전력입니다.

$\displaystyle$d는$$ 안테나 사이의 거리입니다.

${\displaystyle G_{}}$ t$\$가 안테나 게인을 송신하고 있습니다.

$(\$r$$})이 안테나 게인을 수신하고 ${\displaystyle {\mathrm{있습니다}}_{}}$.

$§$ $(\displaystyle$ \displayda$)$는 무선 주파수의 파장입니다.

반사 신호를 고려한다면 새로운 방정식은 다음과 같습니다.

${\displaystyle P_{r}=blambda {P_{t}G_{r}\lambda^{2}{(4\pi)^2}(d+4h)^{2}}}$

$\displaystyle$h는 반사점과 직접$$ 경로 사이의 거리입니다.

사람이 나타나면 새로운 전염 경로가 생긴 거야따라서 최종 방정식은 다음과 같습니다.

${\displaystyle P_{r}=blambda {P_{t}G_{r}\lambda^{2}{(4\pi)^2}(d+4h+\)델타)^{2}}}}:$

$δ {$ $displaystyle$ \$$Delta$$ }는 인체에 의한 경로의 대략적인 차이입니다.

동적 전송 모델

이 모델에서는 신호 전송 경로를 지속적으로 변화시키는 인간의 움직임을 고려합니다.도플러 시프트를 사용하여 이 효과를 설명할 수 있는데, 이는 운동 속도와 관련이 있습니다.

${\displaystyle\Delta f=flac {2v\cos\theta}{c}}f}$

수신 신호의 도플러 시프트를 계산함으로써 움직임의 패턴을 파악할 수 있어 인간의 활동을 더욱 특정할 수 있다.예를 들어,^[46] 도플러 시프트는 지문으로서 9개의 다른 움직임 패턴에 대해 고정밀 식별을 가능하게 한다.

플레넬 존

플레넬 존은 처음에는 빛의 간섭과 회절을 연구하기 위해 사용되었으며, 나중에 무선 신호 전송 모델을 구축하는 데 사용됩니다.플레넬 존은 일련의 타원형 간격이며, 포치는 송신측과 수신측의 위치입니다.

사람이 다른 플레넬존을 이동할 때 인체의 반사에 의해 형성되는 신호경로가 변화하고, 사람이 플레넬존을 통해 수직으로 이동하면 신호변화가 주기적으로 일어난다.본 논문에서,^[47][48] 그리고 그들은 활동 인식 작업에 프레넬 모델을 적용하여 더 정확한 결과를 얻었다.

인체 모델링

일부 작업에서 우리는 더 나은 결과를 얻기 위해 인체를 정확하게 모델링하는 것을 고려해야 한다.예를 들어,^[48] 에서는 인체를 호흡 감지를 위한 동심원통이라고 설명했습니다.실린더의 바깥쪽은 사람이 숨을 들이마실 때의 늑골 케이지, 안쪽은 사람이 숨을 내쉴 때의 늑골 케이지입니다.두 원통 반지름의 차이는 호흡 중 이동 거리를 나타냅니다.신호 위상의 변화는 다음 방정식으로 나타낼 수 있습니다.

$\displaystyle \theta = 2\pi {frac {2,\Delta d}{\delta }}$

$§(\displaystyle$ \theta$)$는 신호$$ 위상의 변화입니다.

$δ(\displaystyle$ \langda$)$는 무선 주파수의 파장입니다.

$δ$d$\displaystyle \Delta$ d는 리브 케이지의 이동 ${\displaystyle \mathrm{거리}}$입니다.

데이터 세트

활동 인식 또는 동작 인식 알고리즘을 벤치마킹하는 데 사용되는 몇 가지 인기 있는 데이터 세트가 있습니다.

• UCF-101: 101개의 인간 액션 클래스, 13,000개가 넘는 클립 및 27시간의 비디오 데이터로 구성됩니다.액션 클래스에는 화장하기, 돌치기, 크리켓 샷, 수염 깎기 ^[49]등이 포함됩니다.
• HMDB51: 영화나 웹 비디오 등 다양한 소스의 사실적인 비디오 모음입니다.데이터 세트는 51개 액션 카테고리(예: "점프", "키스", "웃음")의 6,849개의 비디오 클립으로 구성되어 있으며 각 카테고리에는 최소 101개의 ^[50]클립이 포함되어 있습니다.
• 키네틱스이것은 이전 데이터 세트보다 훨씬 큰 데이터 세트입니다.400개의 인간 액션 클래스로 구성되어 있으며 각 액션마다 최소 400개의 비디오 클립이 있습니다.각각의 동영상은 약 10대 동안 지속되며 다른 유튜브 비디오에서 가져온 것이다.이 데이터 세트는 DeepMind에 ^[51]의해 작성되었습니다.

적용들

사람의 활동을 자동적으로 감시함으로써, 외상성 뇌손상으로 고통 받는 사람들에게 재택 재활을 제공할 수 있다.보안 관련 애플리케이션 및 로지스틱 지원에서 위치 기반 서비스에 ^[52]이르기까지 다양한 애플리케이션을 찾을 수 있습니다.활동 인식 시스템은 건물 ^[54]내 야생동물^[53] 관찰과 에너지 절약을 위해 개발되었습니다.

「 」를 참조해 주세요.

• AI 효과
• 인공지능의 응용
• 조건부 랜덤 필드
• 제스처 인식
• 숨은 마르코프 모형
• 움직임 분석
• Naigive Bayes 분류자
• 서포트 벡터 머신
• 오브젝트 공동 세그멘테이션
• 인공지능의 개요
• 비디오 콘텐츠 분석

레퍼런스