근사 엔트로피

통계에서 근사 엔트로피(ApEntropy)는 시계열 데이터에 대한 정기성의 양과 변동의 예측 불가능성을 정량화하는 데 사용되는 기법이다.^[1]

예를 들어 다음과 같은 두 가지 데이터 시리즈가 있다.

시리즈 1: (10,20,10,20,10,10,20,10,10,10,20,10,10,10,10,20...)은 10과 20을 번갈아 쓴다.

시리즈 2: (10,10,20,10,20,20,20,20,10,20,10,10,10,20,20,20...) 값은 각각 확률 1/2로 무작위로 선택된다.

평균과 분산과 같은 모멘트 통계량은 이 두 열을 구별하지 못할 것이다.순위 순서 통계량 또한 이러한 열을 구별하지 못할 것이다.그러나 시리즈 1은 "완벽하게 규칙적"이다. 한 용어의 값이 20이라는 것을 알면 다음 용어의 값이 10이라는 것을 확실히 예측할 수 있다.시리즈 2는 랜덤하게 평가된다. 한 항이 20이라는 값을 갖는다는 것은 다음 항이 어떤 가치를 가질 것인지에 대한 통찰력을 주지 못한다.

규칙성은 원래 정확한 규칙성 통계에 의해 측정되었는데, 이 통계는 주로 다양한 엔트로피 측정에 초점을 맞추고 있다.^[1]그러나 정확한 엔트로피 계산에는 방대한 양의 데이터가 필요하며, 그 결과는 시스템 노이즈의 영향을 크게 받게 ^[2]되므로 이러한 방법을 실험 데이터에 적용하는 것은 실용적이지 않다.어펜은 스티브 M에 의해 개발되었다. 정확한 정규성 통계량인 Kolmogorov-Sinai 엔트로피를 수정하여 이러한 제한을 처리하는 핀쿠스.ApEn은 처음에 심장 박동수와 같은 의료 데이터를 분석하기 위해 개발되었고,^[1] 후에 금융,^[3] 생리학,^[4] 인적 요인 공학,^[5] 기후 과학 분야에서 응용 프로그램을 확산시켰다.^[6]

알고리즘

근사 엔트로피의 이론적 기초에 대한 설명이 포함된 종합적인 단계별 자습서를 이용할 수 있다.^[7]알고리즘은 다음과 같다.

1단계

데이터 ${\displaystyle u}$( ${\displaystyle 1}$)${\displaystyle }$, ${\displaystyle u}$( ${\displaystyle 2}$)${\displaystyle }$,${\displaystyle }$… ,${\displaystyle u}$( N${\displaystyle }$) ${\displaystyle$\ \ \ $u(1), u(2),\ldots ,u(N)}$의 시계열을 형성하십시오$.$이는 시간 간격과 동일한 측정값의 N 원시 데이터 값이다.

2단계

양의 정수인 m과 양의 실수인 r을 수정한다.m 값은 비교한 각 데이터 실행(본질적으로 창)의 길이를 나타내며, r은 필터링 수준을 지정한다.

3단계

Form a sequence of vectors ${\displaystyle \mathbf {x} (1)}$,${\displaystyle \mathbf {x} (2),\ldots ,\mathbf {x} (N-m+1)}$, in ${\displaystyle \mathbf {R} ^{m}}$, real ${\displaystyle \ m}$-dimensional space defined by ${\displaystyle \mathbf{x}(i)=[u(i),u(i+1),\dots ,u(}$${\displaystyle i}$+ ${\displaystyle m}$- ${\displaystyle 1]}$ ${\displaystyle \mathbf {x}(i)=[u(i$),$u(i+1),\ldots,u(i+m-1$

4단계

이 섹션은 복사 편집이 필요할 수 있다. (2022년 2월) (이 템플릿 메시지를 제거하는 방법 및 시기 학습)

Use the sequence ${\displaystyle \mathbf {x} (1)}$,${\displaystyle \mathbf {x} (2),\ldots ,\mathbf {x} (N-m+1)}$ to construct, for each i, ${\displaystyle 1\leq i\leq N-m+1}$

${\displaystyle C_{i}^{m}(r)=({\text{number of }x(j){\text{{number of }}x(j){\text{{{}}}.$

${\displaystyle \mathrm{여기}}$서 d${\displaystyle }$[ x${\displaystyle }$, ${\displaystyle {}^{}}$ ${\displaystyle {\ast }^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle \ d[x,$x^{*}}}은(는) 다음과 같이 정의된다$$.

${\displaystyle d[x,x^{*}]=\max _{a} u(a)-u^{*(a) \,}$

${\displaystyle u}$(${\displaystyle }$) ${\displaystyle u(a$$)}$은 $x{\displaystyle \mathbf{}}$ {\$displaystyle \mathbf$ {$x}$}의 m$$스칼라 성분으로, d는$$벡터$$x ( $i{\displaystyle \mathbf{}}$ ) ${\displaystyle \{\backslash }$$displaysty \mathbf {x}(i$$)$와 $x{\displaystyle \mathbf{}}$ $($ 사이의 거리를 나타낸다$.$$j{\displaystyle }$ ${\displaystyle j}$이(가) 모든 값을 차지하므로$$ $i{\displaystyle }$= ${\displaystyle j}$ ${\displaystyle i=j}$일 때 제공된 일치가 카운트된다$$(후속성은 자체와 일치함).

5단계

정의

${\displaystyle \Phi ^{m}(r)=(N-m+1)^{-1}\sum _{i=1}^{N-m+1}\log(C_{i}^{m}(r))}$,

6단계

대략적인 엔트로피${\displaystyle (A\mathrm{}}$ ${\displaystyle \mathrm{P}}$ ${\displaystyle \mathrm{E}}$ ${\displaystyle \mathrm{n}}$) ${\displaystyle \(\mathrm {ApEn} )$를 다음과$$ 같이 정의하십시오.

${\displaystyle \mathrm {ApEn} =\Phi ^{m}(r)-\Phi ^{m+1}(r).}$

여기서 ${\displaystyle \mathrm{로그}}$ ${\displaystyle \log}$은(는) 2단계에서와 같이 고정된 m 및 r에 대한 자연 로그입니다.

파라미터 선택

일반적으로 $m{\displaystyle }$= ${\displaystyle 2}$ ${\displaystyle m=2}$ 또는$$ $m{\displaystyle }$= ${\displaystyle 3}$ ${\displaystyle m=3}$을 선택하고$$r은 애플리케이션에 크게 의존한다.

Pincus를 기반으로 하는 ^[8]에 대한 구현은 [ ( ), x ($i),$를$사용$하는 반면, 원본 기사는 4단계에서 d${\displaystyle }$[ ${\displaystyle x}$( ${\displaystyle i}$)${\displaystyle }$, ${\displaystyle x}$ ( ) , x ( )${\displaystyle ]}$ $[x (i),x (j)]\displaysty d[$x (j)\$leq r}$을 사용한다.인위적으로 구성된 예에 대한 우려는 있지만 실제로는 그렇지 않다.

해석

시계열의 반복적인 변동 패턴의 존재는 그러한 패턴이 없는 시계열보다 더 예측 가능하게 한다.ApEn은 유사한 관측치 패턴이 추가로 유사한 관측치를 따르지 않을 가능성을 반영한다.^[9]많은 반복 패턴을 포함하는 시계열은 상대적으로 작은 ApEn을 가지고 있다; 덜 예측 가능한 과정은 더 높은 ApEn을 가지고 있다.

한 가지 예

심박수 시퀀스 그림

${\displaystyle N}$= ${\displaystyle 51}$ ${\displaystyle$\$N=51}$, 이 시퀀스가 시간 내에 동일한 간격으로 심장 박동수의 51개 샘플로 구성된다고 가정해 보십시오.

${\displaystyle \S_{N}=\{85,80,89,80,89,\ldots \}}$

(즉, 시퀀스는 3의 기간으로 주기적이다.)${\displaystyle m}$= ${\displaystyle 2}$ ${\displaystyle$\$m=2}$ 및$$ ${\displaystyle \mathrm{r}}$= 3 ${\displaystyle$\$r=3}$을(를) 선택하십시오($$m ${\displaystyle$\ m}$및$ ${\displaystyle r}$ ${\displaystyle$\ r$}$의 값은 결과에 영향을 주지 않고 변경할 수 있음$$).

벡터 시퀀스 구성:

${\displaystyle \mathbf {x}=[u(1)\,u(2)]=[85\,80]}$

${\displaystyle \mathbf {x}=[u(2)\,u(3)]=[80\,89]}$

${\displaystyle \mathbf {x}=[u(3)\,u(4)]=[89\,85]}$

${\displaystyle \mathrm{x}}$( 4${\displaystyle }$)${\displaystyle }$=${\displaystyle }$[ ${\displaystyle \mathrm{u}}$( 4${\displaystyle }$) ${\displaystyle u}$( ${\displaystyle 5}$) ${\displaystyle ]}$=${\displaystyle }$[ ${\displaystyle 85}$ ${\displaystyle 80}$ ${\displaystyle ]}$ ${\displaystyle \mathbf {x}(4)=[u(4)\,u(5)]=[85\,80]}$…

거리는 다음과 같이 계산한다.

${\d[\mathbf {x}(1)\mathbf {x}=\max_{a}u(a)-u^{*(a) =0<r=3}$

참고 ( ) -( )> ( ) -( ) $displaystyle$\ \ \$u(2)-u(3$) >$u(1)-u(2)$ 그래서

${\d[\mathbf {x}(1)\mathbf {x}}=\max_{a}u(a)-u^{*}(a) = u(2)-u(3) = 9>r=3}$

마찬가지로

${\d[\mathbf {x}(1)\mathbf {x}(3)]=u(2)-u(4) =5>r}$

${\d[\mathbf {x}(1)\mathbf {x}(4)]=u(1)-u(4) = u(2)-u(5) = 0<r}$

Therefore, ${\displaystyle \mathbf {x} (j){\text{s}}}$ such that ${\displaystyle \ d[\mathbf {x} (1),\mathbf {x} (j)]\leq r}$ include ${\displaystyle \mathbf {x} (1),\mathbf {x} (4),\mathbf {x} (7),\ldots ,\mathbf {x} (49)}$, and th총수는 17이다.

${\displaystyle \ C_{1}^{2}(3)={\frac {17}{50}}}}$

${\displaystyle \ C_{2}^{2}(3)={\frac {17}{50}}}}$

${\displaystyle \ C_{3}^{2}(3)={\frac {16}{50}}}}$

${\displaystyle \ C_{4}^{2}(3)={\frac {17}{50}\\ldots }}$

4단계의 $참고{\displaystyle \mathbf{}:}$ ${\displaystyle x}$( i$$) {\$displaystyle \mathbf {x}$ (i)},$$${\displaystyle 1\mathrm{}}$≤ ${\displaystyle i-}$ ${\displaystyle N}$- m + ${\displaystyle 1}${\$displaystyle \1\leq i\leq$ N-m$+$$1}.$그래서 xs(j)((j){\text{s}}}가 d[x(3),)(j)]<>r{\displaystyle\와 같이 d[\mathbf{x}(3),\mathbf{x}(j)]<, r}을 포함한다)(3), 음(6), 음(9),…, x(48){\displaystyle \mathbf{)}(3),\mathbf{)}(6),\mathbf{)}(9),\ldots ,\mathbf{)}(48)}, 그리고 정확otal숫자는 16이다.

${\displaystyle \Phi \{2}(3)=(50)^{-1}\sum _{i=1}^{50}\log(C_{i}^{2}(3)\ 약 -1.0982}$

그런 다음 m=3에 대해 위의 단계를 반복한다.먼저 벡터 시퀀스를 형성하십시오.

${\displaystyle \mathbf {x}=[u(1)\,u(2)\,u(3)]=[85\,80\,89]}$

${\displaystyle \mathbf {x}=[u(2)\,u(3)\,u(4)]=[80\,89\,85]}$

${\displaystyle \mathbf {x}=[u(3)\,u(4)\,u(5)]=[89\,85\,80]}}$

${\displaystyle \mathbf{x}}$(${\displaystyle 4}$ )${\displaystyle }$=${\displaystyle }$[ ${\displaystyle u}$ ${\displaystyle (}$ ${\displaystyle 4}$) ${\displaystyle u}$ ${\displaystyle (}$ ${\displaystyle 6}$)${\displaystyle ]}$=${\displaystyle }$[ ${\displaystyle 85}$ ${\displaystyle 80}$ ${\displaystyle 89}$ ${\displaystyle ]}$ ${\displaystyle \mathbf {x} (4)=[u(4)\,u(5)\,u(6)]=[85\,80\,89]$…

벡터 $x{\displaystyle \mathbf{}}$( ${\displaystyle i}$)${\displaystyle }$, x (${\displaystyle }$j${\displaystyle }$)${\displaystyle }$, ${\displaystyle 1}$ ${\displaystyle \le }$ ${\displaystyle i}$ ${\displaystyle \le }$ ${\displaystyle 49}$ $(\displaystyle \mathbf {x} (i),\mathbf {x}$ ($j), 1\leq$ i$\leq 49$ 사이의 거리를 계산해 보면 필터링 수준을 만족하는 벡터는 다음과 같은 특성이 있음을 알 수 있다.

${\d[\mathbf {x}(i),\mathbf {x}(i+3)=0<r}$

그러므로

${\displaystyle \ C_{1}^{3}(3)={\frac {17}{49}}}}$

${\displaystyle \ C_{2}^{3}(3)={\frac {16}{49}}}}$

${\displaystyle \ C_{3}^{3}(3)={\frac {16}{49}}}}$

${\displaystyle \ C_{4}^{3}(3)={\frac {17}{49}\\ldots }}$

${\displaystyle \Phi^{3}(3)=(49)^{-1}\sum _{i=1}^{49}\log(C_{i}^{3}(3)\ 약 -1.0982}$

마지막으로

${\displaystyle \mathrm {ApEn} =\Phi ^{2}(3)-\Phi ^{3}(3)\약 0.000010997}$

그 값은 매우 작기 때문에 순서가 규칙적이고 예측가능하다는 것을 의미하며, 이는 관찰과 일치한다.

파이썬 구현

수입하다 불결한 로서 np  반항하다 아펜(U, m, r) -> 둥둥 뜨다:     """ 대략적인_엔트로피."""      반항하다 _maxdist(x_i, x_j):         돌아오다 맥스.([복근(ua - va) 을 위해 ua, va 에 지퍼를 채우다(x_i, x_j)])      반항하다 _피(m):         x = [[U[j] 을 위해 j 에 범위(i, i + m - 1 + 1)] 을 위해 i 에 범위(N - m + 1)]         C = [             렌([1 을 위해 x_j 에 x 만일 _maxdist(x_i, x_j) <= r]) / (N - m + 1.0)             을 위해 x_i 에 x         ]         돌아오다 (N - m + 1.0) ** (-1) * 합계를 내다(np.통나무를 하다(C))      N = 렌(U)      돌아오다 _피(m) - _피(m + 1) 

사용 예제:

>>>U = np.배열하다([85, 80, 89] * 17) >>>인쇄하다(아펜(U, 2, 3)) 1.0996541105257052e-05 >>>랜두 = np.무작위의.선택하다([85, 80, 89], 사이즈를 맞추다=17*3) >>>인쇄하다(아펜(랜두, 2, 3)) 0.8626664154888908 

이점

ApEn의 장점은 다음과 같다.^[2]

• 컴퓨팅 수요 감소.ApEn은 소형 데이터 샘플(n < 50 포인트)에 대해 작동하도록 설계할 수 있으며, 실시간으로 적용할 수 있다.
• 소음으로 인한 영향 감소.데이터가 소음이 심한 경우, ApEn 측정치를 데이터의 소음 수준과 비교하여 데이터에 어떤 진정한 정보가 존재할 수 있는지 판단할 수 있다.

적용들

에이펜은 정신분열증,^[10] 간질,^[11] 중독과 같은 정신질환에서 EEG를 분류하는 데 적용되었다.^[12]

제한 사항

ApEn 알고리즘은 계산에서 ln(0)이 발생하지 않도록 각 시퀀스를 자체 일치로 계산한다.이 단계는 ApEn의 편향을 유발할 수 있으며, 이러한 편향은 ApEn이 실제로 두 가지 나쁜 속성을 갖게 한다.^[13]

1. ApEn은 기록 길이에 크게 의존하고 있으며, 쇼트 레코드의 경우 예상보다 한결같이 낮다.
2. 그것은 비교적 일관성이 없다.즉, 한 데이터 세트의 ApEn이 다른 데이터 세트의 ApEn보다 높으면 시험한 모든 조건에서 더 높은 상태를 유지해야 하지만 그렇지 않아야 한다.

참고 항목

• 반복정량분석
• 시료 엔트로피

참조