볼테라 시리즈

Volterra series

볼테라 시리즈테일러 시리즈와 유사한 비선형 행동 모델이다. '메모리' 효과를 포착하는 능력에서 테일러 시리즈와 차이가 난다. Taylor 시리즈는 이 시스템의 출력이 해당 특정 시간의 입력에 엄격히 의존하는 경우 주어진 입력에 대한 비선형 시스템의 반응에 근사치하는 데 사용될 수 있다. Volterra 시리즈에서 비선형 시스템의 출력은 다른 모든 시간에 시스템에 대한 입력에 의존한다. 이것은 콘덴서인덕터와 같은 장치의 "메모리" 효과를 포착할 수 있는 능력을 제공한다.

의학(바이오메디컬공학)과 생물학, 특히 신경과학 분야에 적용되어 왔다. 전력 증폭기와 주파수 혼합기를 포함한 많은 장치에서 상호변조 왜곡을 모델링하는 데도 전기공학에서 사용된다. 그것의 주요 장점은 그것의 일반성에 있다: 그것은 광범위한 시스템을 대표할 수 있다. 따라서 때로는 비모수 모델로 간주되기도 한다.

수학에서 볼테라 시리즈는 동적, 비선형, 시간 변화 함수의 기능 확장을 의미한다. 볼테라 시리즈는 시스템 식별에 자주 사용된다. 볼테라 정리를 증명하는 데 쓰이는 볼테라 시리즈는 다차원적 경련 통합의 무한 합이다.

역사

볼테라 시리즈는 1887년부터 시작된 작품에서 이탈리아의 수학자 비토 볼테라(Vito Volterra)로 인해 분석 기능론의 현대화된 버전이다.[1][2] 노르베르트 비에너는 볼테라의 제자 폴 레비와의 접촉으로 1920년대에 이 이론에 관심을 갖게 되었다. 그는 자신의 브라운 운동 이론을 볼테라 분석 기능의 통합에 적용했다. 볼테라 시리즈를 시스템 분석에 사용한 것은 1942년 당시 MIT의 수학 교수였던 비에너의 제한된 전시 보고서로부터[3] 비롯되었다. 이 시리즈를 사용하여 비선형 수신기 회로에서 레이더 소음이 미치는 영향을 대략적으로 분석했다. 그 보도는 전쟁 후에 공개되었다.[4] 비선형 시스템의 일반적인 분석 방법으로서, 볼테라 시리즈는 MIT 등으로부터 처음에는 비공개 회람된 일련의 보고의 결과로서 1957년경 이후에 사용되었다.[5] 볼테라 시리즈라는 이름은 몇 년 후에 사용되기 시작했다.

수학 이론

볼테라 시리즈의 이론은 두 가지 다른 관점에서 볼 수 있다: 하나는 두 실제(또는 복잡한) 기능 공간 사이연산자 매핑을 고려하거나 실제(또는 복잡한) 기능 공간에서 실제(또는 복잡한) 숫자로 기능 매핑을 고려한다. 후자의 기능적 원근법은 시스템의 가정된 시간적 균형 때문에 더 자주 사용된다.

연속시간

x(t)를 입력으로, y(t)를 출력으로 하는 연속 시간 변량 시스템은 Volterra 시리즈에서 다음과 같이 확장할 수 있다.

여기서 오른쪽의 상수 용어 0는 출력 수준 의 적절한 선택에 의해 0으로 간주된다 함수 ( 1,… , n) 을 n번째 순서 볼테라 커널이라고 한다. 계통의 고차적 충동반응으로 볼 수 있다. 표현이 고유하려면, 낟알은 n 변수 에서 대칭이어야 한다 만약 그것이 대칭적이지 않다면, 이 n 변수 τ의 n! 순열에 대한 평균인 대칭 커널로 대체될 수 있다.

N이 유한하면 시리즈가 잘린다고 한다. a, b, N이 유한하면 시리즈를 이중 유한이라 한다.

때때로 n번째 순서의 항은 n!로 나뉘는데, 이는 한 볼테라 시스템의 출력을 다른 볼테라 시스템의 입력("캐스캐딩")으로 취할 때 편리하다.

인과관계 조건: Since in any physically realizable system the output can only depend on previous values of the input, the kernels will be zero if any of the variables are negative. 통합은 0에서 무한대까지의 절반 범위에 걸쳐 작성될 수 있다. 따라서 연산자가 원인일 경우 0 0

프레셰트의 근사 정리: 볼테라 시리즈를 사용하여 시간 내 기능적 관계를 나타내는 것은 종종 프레셰트로 인한 정리에 호소함으로써 정당화된다. 이 정리는 시간 변동성 기능 관계(특정 매우 일반적인 조건 충족)는 충분히 높은 유한 순서 볼테라 시리즈에 의해 일률적으로 임의의 정밀도 정도까지 근사하게 추정될 수 있다고 기술하고 있다. 다른 조건 중, 근사치가 유지될 허용 입력 함수 ( ) x의 집합은 소형이어야 한다. 그것은 보통 동등하고 균일하게 경계된 함수의 집합으로 여겨지는데, 아르젤라-아스콜리 정리에 의해 압축된다. 많은 물리적 상황에서 입력 집합에 대한 이러한 가정은 합리적인 가정이다. 그러나 그 정리는 응용에서 필수적인 질문인 좋은 근사치를 위해 얼마나 많은 용어가 필요한지에 대해서는 아무런 표시도 하지 않는다.

이산 시간

이는 연속 시간 사례와 유사하다.

( ,… , ) 이산 시간 볼테라 커널이라고 한다.

P가 유한하면 직렬 연산자가 잘린다고 한다. a, b, P가 유한하면 직렬 연산자를 이중 유한 볼테라 계열이라고 한다. 0{\ 0이라면, 연산자는 인과적이라고 한다.

우리는 항상 일반성의 손실 없이 커널 ( ,… , p) 를 대칭으로 고려할 수 있다. 실제로 곱셈의 공통성을 위해, 1,… , p 변수의 모든 순열에 대한 커널의 평균으로 취해진 새로운 커널을 형성함으로써 항상 그것을 대칭화하는 것이 가능하다.

대칭 커널이 있는 인과적 시스템의 경우 n번째 용어를 대략 삼각형 형태로 다시 쓸 수 있다.

커널 계수 추정 방법

볼테라 계수를 개별적으로 추정하는 것은 볼테라 시리즈의 기본 함수들은 상관관계가 있기 때문에 복잡하다. 이는 계수에 대한 일련의 적분 방정식을 동시에 푸는 문제로 이어진다. 따라서 볼테라 계수의 추정은 일반적으로 직교화된 시리즈(예: Wiener 시리즈)의 계수를 추정한 다음 원래 볼테라 시리즈의 계수를 다시 계산하는 방식으로 수행된다. 직교 계열에 대한 볼테라 계열의 주된 어필은 직관적이고 표준적인 구조에 있다. 즉, 입력의 모든 상호작용은 하나의 고정된 정도를 가진다. 직교 기본 기능은 일반적으로 상당히 복잡할 것이다.

다음과 같은 방법이 다른 중요한 측면은 기본 기능의 직교화가 입력 신호의 이상화된 사양(: 가우스, 백색 노이즈)에 걸쳐 수행되는지 또는 입력의 실제 실현(예: 의사 난수, 경계, 거의 백색 버전)에 걸쳐 수행되는지 여부다.oise 또는 다른 자극. 후자의 방법은 수학적 우아함이 없음에도 불구하고 (임의적 입력을 쉽게 수용할 수 있기 때문에) 보다 유연하고 정밀하게 (입력 신호의 이상화된 버전이 항상 실현 가능한 것은 아니기 때문에) 보여 왔다.

교차상관법

리와 셸첸이 개발한 이 방법은 신호의 실제 수학적 설명과 관련하여 직교한다. 즉, 새로운 기준 함수들에 대한 투영은 무작위 신호의 모멘트에 대한 지식을 바탕으로 한다.

볼테라 시리즈는 다음과 같이 동종 연산자의 관점에서 쓸 수 있다.

어디에

식별 직교화를 허용하려면 Volterra 시리즈를 직교 비균형 G 연산자(Wiener 시리즈):

The G operators can be defined by the following:

whenever is arbitrary homogeneous Volterra, x(n) is some stationary white noise (SWN) with zero mean and variance A.

Recalling that every Volterra functional is orthogonal to all Wiener functional of greater order, and considering the following Volterra functional:

we can write

If x is SWN, and by letting , we have

So if we exclude the diagonal elements, , it is

대각선 원소를 고려한다면 리와 셸젠이 제안한 해결책은

이 기법의 주요 단점은 저차 커널의 모든 요소에 대해 발생한 추정 오차가 대각선 원소 추정에 대한 해결책으로 간주된 합계 = p- () 를 통해 순서 p의 각 대각선 요소에 영향을 미친다는 것이다.자화자찬하다 이러한 단점을 방지하기 위한 효율적인 공식과 대각선 커널 요소 추정에 대한 참조가 존재함[6][7]

일단 Wiener 커널이 식별되면, Volterra 커널은 5차 Volterra 시리즈에 대해 다음과 같이 보고된 Wiener-to-Volterra 공식을 사용하여 얻을 수 있다.

다중분산법

기존의 직교 알고리즘에서는 이 높은 입력을 사용하면 고차 비선형성을 자극하여 보다 정확한 고차 커널 식별을 할 수 있다는 장점이 있다. 단점으로, 높은 x 값을 사용하면 주로 입력 및 잘라내기 오류의 비이상성으로 인해 저차 커널에 높은 식별 오류가 발생한다.[8]

반대로 식별 과정에서 낮은 를 사용하면 낮은 차수의 커널을 더 잘 추정할 수 있지만, 높은 차수의 비선형성을 자극하기에는 불충분할 수 있다.

잘린 볼테라 시리즈의 국소성이라고 할 수 있는 이 현상은 입력의 분산이 다른 함수로서 시리즈의 출력 오차를 계산하면 알 수 있다. 이 검정은 서로 다른 입력 분산으로 식별된 시계열로 반복하여 서로 다른 곡선을 얻을 수 있으며, 각각은 식별에 사용된 분산에 대한 최소 일치도를 가질 수 있다.

이러한 한계를 극복하기 위해서는 저차 커널에 낮은 값을 사용하고 고차 커널에 대해서는 점차 증가시켜야 한다. 이는 Wiener 기능이 서로 직교하기 때문에 Wiener 커널 식별에서 이론적인 문제는 아니지만, Wiener-to-Volterra 변환 공식에서 서로 다른 분산의 사용을 고려하기 위해서는 적절한 정규화가 필요하다. 더 나아가 새로운 비너에서 볼테라로의 변환 수식이 필요하다.

기존의 Wiener 커널 식별은 다음과 같이 변경해야 한다.[8]

위의 공식에서 임펄스 함수는 대각선 커널 포인트를 식별하기 위해 도입된다. 새로운 공식으로 Wiener 낟알을 추출할 경우 다음과 같은 Wiener-to-Volterra 공식(제5차 순서까지 설명)이 필요하다.

알 수 있듯이, 이전 공식에[7] 대한 단점은 n번째 순서 커널의 식별을 위해 모든 하위 커널을 더 높은 분산으로 다시 식별해야 한다는 것이다. 그러나 새로운 공식으로 Wiener와 Volterra 커널을 획득할 경우 출력 MSE의 현저한 향상을 얻을 수 있을 것이다.[8]

Feedforward network

This method was developed by Wray and Green (1994) and utilizes the fact that a simple 2-layer neural network (i.e. a multilayer perceptron or feedforward network) is computationally equivalent to the Volterra series and therefore contains the kernels hidden in its architecture. After such a network has been trained to successfully predict the output based on the current state and memory of the system, the kernels can then be computed from the weights and biases of that network.

The general notation for the n-th-order volterra kernel is given by

where is the order, the weights to the linear output node, the coefficients of the polynomial expansion of the output function of the hidden nodes, and are the weights from the input layer to the non-linear hidden layer. It is important to note that this method allows kernel extraction up until the number of input delays in the architecture of the network. Furthermore, it is vital to carefully construct the size of the network input layer so that it represents the effective memory of the system.

Exact orthogonal algorithm

This method and its more efficient version (fast orthogonal algorithm) were invented by Korenberg.[9] In this method the orthogonalization is performed empirically over the actual input. It has been shown to perform more precisely than the crosscorrelation method. Another advantage is that arbitrary inputs can be used for the orthogonalization and that fewer data points suffice to reach a desired level of accuracy. Also, estimation can be performed incrementally until some criterion is fulfilled.

선형 회귀 분석

선형 회귀 분석은 선형 분석의 표준 도구다. 따라서, 그것의 주요 장점 중 하나는 선형 퇴행을 효율적으로 해결하기 위한 표준 도구의 광범위한 존재다. 볼테라 시리즈의 기본 속성인 비선형 기본 기능의 선형 결합을 강조하기 때문에 어느 정도 교육적 가치가 있다. 추정을 위해서는 볼테라 기준 함수가 직교하지 않기 때문에 추정을 점진적으로 수행할 수 없기 때문에 원본의 순서를 알아야 한다.

커널법

이 방법은 프란츠와 슐코프[10](Shölkopf)에 의해 발명되었으며 통계학 학습 이론에 기초하고 있다. 따라서 이 접근법은 경험적 오류(흔히 경험적 위험 최소화라고 함)를 최소화하는 것에 기초하기도 한다. 프란츠와 슐코프는 후자가 더 직관적이라는 점에 주목하면서도, 커널 방법이 볼테라 시리즈 표현을 본질적으로 대체할 수 있다고 제안했다.

미분 샘플링

이 방법은 반 헤멘과 동료들이[11] 개발했으며 디락 델타 함수를 활용하여 볼테라 계수를 샘플링한다.

참고 항목

참조

  1. ^ Volterra, Vito (1887). Sopra le funzioni che dipendono da altre funzioni. III. Italy: R. Accademia dei Lincei. pp. 97–105.
  2. ^ 비토 볼테라 함수 이론, 통합 이론 및 정수-차등 방정식. 마드리드 1927년(스페인어), 번역본 뉴욕: 도버 출판사, 1959년.
  3. ^ Wiener N: 노이즈에 대한 비선형 장치의 반응. 방사능 실험실 MIT 1942, 제한됨 V-16, no 129 (112 pp) 보고한다. 1946년 7월 기밀 해제, 미국 연방 하원의원 PB-1-58087로 발행. 상업. URL: http://www.dtic.mil/dtic/tr/fulltext/u2/a800212.pdf
  4. ^ 이케하라 S: 비선형 회로의 Wiener의 방법. MIT 12월 10일, 기술 대표 217호, 연구실. 전자.
  5. ^ 브릴리언트, 제임스, 조지, 하우즈, 체슬러의 초기 MIT 보고서는 dspace.mit.edu에서 확인할 수 있다.
  6. ^ M. Pirani, S. Orcioni, C. Turchetti (Sep 2004). "Diagonal kernel point estimation of n-th order discrete Volterra-Wiener systems". EURASIP Journal on Applied Signal Processing. 2004 (12): 1807–1816.CS1 maint: 작성자 매개변수 사용(링크)
  7. ^ a b S. Orcioni, M. Pirani, C. Turchetti (2005). "Advances in Lee–Schetzen method for Volterra filter identification". Multidimensional Systems and Signal Processing. 16 (3): 265–284.CS1 maint: 작성자 매개변수 사용(링크)
  8. ^ a b c Orcioni, Simone (2014). "Improving the approximation ability of Volterra series identified with a cross-correlation method". Nonlinear Dynamics. 78: 2861–2869. doi:10.1007/s11071-014-1631-7.
  9. ^ Korenberg, M. J., Bruder, S. B., McIlroy, P. J. (1988). "Exact orthogonal kernel estimation from finite data records: extending Wiener's identification of nonlinear systems". Ann. Biomed. Eng. 16: 201–214.CS1 maint: 작성자 매개변수 사용(링크)
  10. ^ Franz, Matthias O., Bernhard Schölkopf (2006). "A unifying view of Wiener and Volterra theory and polynomial kernel regression". Neural computation. 18 (12): 3097–3118. doi:10.1162/neco.2006.18.12.3097.CS1 maint: 작성자 매개변수 사용(링크)
  11. ^ J. L. van Hemmen, W. M. Kistler, E. G. F. Thomas (2000). "Calculation of Volterra Kernels for Solutions of Nonlinear Differential Equations". SIAM Journal on Applied Mathematics. 61 (1): 1–21. doi:10.1137/S0036139999336037. hdl:11370/eda737ae-40d1-4ff3-93d7-6b2434d23d52.CS1 maint: 작성자 매개변수 사용(링크)

Further reading

  • Barrett J.F: Bibliography of Volterra series, Hermite functional expansions, and related subjects. Dept. Electr. Engrg, Univ.Tech. Eindhoven, NL 1977, T-H report 77-E-71. (Chronological listing of early papers to 1977) URL: http://alexandria.tue.nl/extra1/erap/publichtml/7704263.pdf
  • Bussgang, J.J.; Ehrman, L.; Graham, J.W: Analysis of nonlinear systems with multiple inputs, Proc. IEEE, vol.62, no.8, pp. 1088–1119, Aug. 1974
  • Giannakis G.B & Serpendin E: A bibliography on nonlinear system identification. Signal Processing, 81 2001 533–580. (Alphabetic listing to 2001) www.elsevier.nl/locate/sigpro
  • Korenberg M.J. Hunter I.W: The Identification of Nonlinear Biological Systems: Volterra Kernel Approaches, Annals Biomedical Engineering (1996), Volume 24, Number 2.
  • Kuo Y L: Frequency-domain analysis of weakly nonlinear networks, IEEE Trans. Circuits & Systems, vol.CS-11(4) Aug 1977; vol.CS-11(5) Oct 1977 2–6.
  • Rugh W J: Nonlinear System Theory: The Volterra–Wiener Approach. Baltimore 1981 (Johns Hopkins Univ Press) http://rfic.eecs.berkeley.edu/~niknejad/ee242/pdf/volterra_book.pdf
  • Schetzen M: The Volterra and Wiener Theories of Nonlinear Systems, New York: Wiley, 1980.