확률적 제어

Stochastic control
다음 항목도 참조하십시오.확률적 프로그래밍

확률적 제어 또는 확률적 최적 제어는 시스템의 진화를 주도하는 관측 또는 잡음에서 불확실성의 존재를 다루는 제어 이론의 하위 분야이다.시스템 설계자는 베이지안 확률 주도 방식으로 확률 분포가 알려진 무작위 소음이 상태 변수의 진화와 관찰에 영향을 미친다고 가정한다.확률적 제어는 [1]소음의 존재에도 불구하고 최소 비용으로 원하는 제어 작업을 수행하는 제어 변수의 시간 경로를 설계하는 것을 목표로 한다.컨텍스트는 이산 시간 또는 연속 시간 중 하나입니다.

확실성 등가

확률 제어에서 매우 잘 연구된 공식은 선형 2차 가우스 제어 공식이다.여기서 모델은 선형이고, 목적 함수는 2차 형식의 기대값이며, 교란은 순수하게 가법적입니다.첨가적 불확실성만을 갖는 이산 시간 중앙집중식 시스템의 기본 결과는 확실도 등가성 [2]특성이다. 즉, 이 경우 최적의 제어 솔루션은 첨가적 장애가 없을 때 얻을 수 있는 것과 동일하다.이 속성은 선형 진화 방정식, 2차 비용 함수 및 모델에 진입하는 노이즈를 가진 모든 중앙 집중식 시스템에 적용할 수 있다. 2차 가정은 확실성-등가 속성을 따르는 최적의 제어 법칙을 제어기 관측치의 선형 함수로 만들 수 있다.

비선형 상태 방정식, 비 4차 목적 함수, 모델의 곱셈 매개변수의 소음 또는 제어 분산과 같은 위의 가정으로부터의 편차는 확실도 등가 특성을 유지하지 못하게 한다.예를 들어, 비첸하우젠의 반례에서 분산된 통제를 유지하지 못한 것이 입증되었다.

이산 시간

이산 시간 컨텍스트에서 의사결정자는 각 기간 동안 상태 변수(아마도 관측 노이즈)를 관찰합니다.목표는 현재에서 최종 관심 기간까지의 모든 기간에 걸쳐 비선형(가능성이 있는 2차) 목적 함수의 예상 값의 합계를 최적화하거나 최종 기간에만 목적 함수의 값을 최적화하는 것일 수 있다.각 기간마다 새로운 관측치가 생성되고 제어 변수를 최적으로 조정해야 합니다.현재 최적의 해법을 찾는 것은 마지막 기간부터 현재 기간까지 거꾸로 매트릭스 리카티 방정식을 반복하는 것을 포함할 수 있다.

전이행렬 및/또는 상태방정식의 제어응답행렬에서 파라미터 값에 대한 불확실성을 갖는 이산시간 사례에서 선형 상태방정식과 2차 목적함수를 사용하여 리카티 방정식을 얻을 수 있다.확실성 등가가 [2]ch.13[3]적용되지 않더라도 각 기간의 솔루션에 대해 역방향으로 반복한다.비 2차 손실 함수의 이산 시간 케이스는 더 [4]복잡하지만 가법적 장애만 처리할 수 있다.

예

이산 시간 확률적 선형 2차 제어 문제의 일반적인 사양은 다음을 최소화하는 것이다[2]: ch. 13, [3][5].

여기서1 E는 y를 조건으로0 하는 기대치 연산자이고, 윗첨자 T는 행렬 전치, S는 상태 방정식의 적용을 받는 시간 수평선입니다.

여기서 y는 관측 가능한 상태 변수의 n × 1 벡터, u는 k × 1 벡터, A는t 확률적 n × n 상태 전이 행렬의 시간 t 실현t, B는 확률적 n × k 행렬의 시간 t 실현, Q(n × n)와 R(k × k)는 알려진 대칭적 양의 비용 행렬이다.우리는 A와 B의 각 요소가 시간에 따라 독립적으로 동등하게 분포되어 있기 때문에 기대치 연산이 시간 조건적일 필요는 없다고 가정한다.

시간의 역방향 유도를 사용하여 [2]: ch. 13 각 시점에서 최적의 제어 솔루션을 얻을 수 있습니다.

S }=에서 시간에 따라 거꾸로 진화하는 대칭 양의 확정 사용 비용 행렬 X를 사용하여 다음과 같이 계산한다.

이 문제의 이산 시간 동적 리카티 방정식으로 알려져 있습니다.A 및 B 행렬의 미지의 파라미터에 관해 필요한 유일한 정보는 각 행렬의 각 요소의 기대치와 분산, 그리고 동일한 행렬의 요소 간 및 행렬 간의 공분산이다.

최적 제어 솔루션은 A 및 B 행렬의 매개 변수와 상관 없는 한 0-평균, 즉 가법 충격이 상태 방정식에 나타나는 경우에도 영향을 받지 않습니다.그러나 이러한 상관 관계가 있으면 각 기간에 대한 최적의 관리 솔루션에는 추가 가법 상수 벡터가 포함됩니다.상태 방정식에 가법 상수 벡터가 나타나면 각 주기에 대한 최적 제어 솔루션에도 추가 가법 상수 벡터가 포함됩니다.

S가 무한대로 가는 무한 수평 문제와 관련된 X의 정상 상태 특성(존재하는 경우)은 수렴될 때까지 X에 대한 동적 방정식을 반복하여 찾을 수 있습니다. 그런 다음 X는 동적 방정식에서 시간 첨자를 제거함으로써 특징지어집니다.

연속 시간

모델이 연속된 시간 내에 있는 경우 컨트롤러는 각 순간의 시스템 상태를 파악합니다.목표는 예를 들어 0시간(현재)에서 종료 시간 T까지의 수평선에 걸쳐 상태 변수의 오목함수 또는 미래 날짜 T에 상태 변수의 오목함수를 최대화하는 것이다.시간이 경과함에 따라 새로운 관찰이 지속적으로 이루어지며 제어 변수가 최적의 방식으로 지속적으로 조정됩니다.

확률적 모델 예측 제어

문헌에는 확률적 시스템에 대한 두 가지 유형의 MPC가 있다. 즉, 강력한 모델 예측 제어와 확률적 모델 예측 제어(SMPC)이다.강력한 모델 예측 제어는 최적화 절차에서 최악의 시나리오를 고려하는 보다 보수적인 방법입니다.단, 이 방법은 다른 강력한 제어장치와 마찬가지로 전체 제어장치의 성능을 악화시키며, 한정된 불확실성이 있는 시스템에만 적용할 수 있다.대안 방법인 SMPC는 확률적 [6]불평등에 의한 위반 위험을 제한하는 연성 제약을 고려한다.

재무 부문

재무문맥에서 연속시간 접근법에서 확률적 미분방정식의 상태변수는 보통 부 또는 순자산이며, 지배력은 다양한 자산에서 각각의 시점에 배치된 지분이다.자산배분을 선택할 때 부의 변동의 결정요인은 일반적으로 자산에 대한 확률적 수익과 무위험자산의 이자율이다.확률적 통제 분야는 1970년대 이후 특히 금융 적용 분야에서 크게 발전했다.로버트 머튼은 확률적 제어를 사용하여 안전 및 위험 자산의 [7]최적 포트폴리오를 연구했습니다.그의 작품과 Black-Scholes의 작품은 재정문헌의 성격을 바꾸었다.영향력 있는 수학 교과서 치료는 플레밍과 리셀,[8] 그리고 플레밍과 [9]소너에 의해 이루어졌다.이러한 기법은 Stein에 [10]의해 2007-08년 금융위기에 적용되었다.

말기일 T에 예상되는 순자산 대수의 최대화는 [11]부의 구성요소에 대한 확률적 과정을 거친다.이 경우, 이토 방정식이 분석의 주요 도구이다.최대화가 수평선(0,T)에 걸친 효용의 오목함수의 적분인 경우 동적 프로그래밍을 사용한다.지배변수의 계수, 즉 자산의 선택된 공유가 받는 수익은 확률적이기 때문에 이전 문헌과 같은 확실성 등가성은 없다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Answers.com에서 정의
  2. ^ a b c d Chow, Gregory P. (1976). Analysis and Control of Dynamic Economic Systems. New York: Wiley. ISBN 0-471-15616-7.
  3. ^ a b Turnovsky, Stephen (1976). "Optimal Stabilization Policies for Stochastic Linear Systems: The Case of Correlated Multiplicative and Additive disturbances". Review of Economic Studies. 43 (1): 191–94. doi:10.2307/2296614. JSTOR 2296614.
  4. ^ Mitchell, Douglas W. (1990). "Tractable Risk Sensitive Control Based on Approximate Expected Utility". Economic Modelling. 7 (2): 161–164. doi:10.1016/0264-9993(90)90018-Y.
  5. ^ Turnovsky, Stephen (1974). "The stability properties of optimal economic policies". American Economic Review. 64 (1): 136–148. JSTOR 1814888.
  6. ^ Hashemian; Armaou (2017). "Stochastic MPC Design for a Two-Component Granulation Process". IEEE Proceedings: 4386–4391. arXiv:1704.04710. Bibcode:2017arXiv170404710H.
  7. ^ Merton, Robert (1990). Continuous Time Finance. Blackwell.
  8. ^ Fleming, W.; Rishel, R. (1975). Deterministic and Stochastic Optimal Control. ISBN 0-387-90155-8.
  9. ^ Fleming, W.; Soner, M. (2006). Controlled Markov Processes and Viscosity Solutions. Springer.
  10. ^ Stein, J. L. (2012). Stochastic Optimal Control and the US Financial Crisis. Springer-Science.
  11. ^ Barreiro-Gomez, J.; Tembine, H. (2019). "Blockchain Token Economics: A Mean-Field-Type Game Perspective". IEEE Access. 7: 64603–64613. doi:10.1109/ACCESS.2019.2917517. ISSN 2169-3536.

추가 정보

  • Dixit, Avinash (1991). "A Simplified Treatment of the Theory of Optimal Regulation of Brownian Motion". Journal of Economic Dynamics and Control. 15 (4): 657–673. doi:10.1016/0165-1889(91)90037-2.
  • Yong, Jiongmin; Zhou, Xun Yu (1999). Stochastic Controls : Hamiltonian Systems and HJB Equations. New York: Springer. ISBN 0-387-98723-1.