데이터 처리 그룹화 방법

Group method of data handling

GMDH(Group Method of Data Handling)는 모델의 완전 자동 구조 및 파라메트릭 최적화를 특징으로 하는 다중 파라미터 데이터셋의 컴퓨터 기반 수학적 모델링을 위한 유도 알고리즘 제품군입니다.

GMDH는 데이터 마이닝, 지식 발견, 예측, 복잡한 시스템 모델링, 최적화 및 패턴 [1]인식 등의 분야에서 사용됩니다.GMDH 알고리즘은 점차적으로 복잡한 다항식 모델을 선별하고 외부 기준을 통해 최적의 솔루션을 선택하는 유도 절차로 특징지어진다.

입력이 여러 개이고 출력이 한 개인 GMDH 모델은 기본 함수 (1)의 구성요소의 하위 집합입니다.

여기서i f는 다른 입력 세트에 의존하는 기본 함수이고i a는 계수이고 m은 기본 함수 성분의 수입니다.

최적의 솔루션을 찾기 위해 GMDH 알고리즘은 부분 모델이라고 불리는 기본 함수 (1)의 다양한 성분 서브셋을 고려합니다.이러한 모형의 계수는 최소 제곱법으로 추정됩니다.GMDH 알고리즘은 부분 모델 구성요소의 수를 점차 증가시키고 외부 기준의 최소값으로 나타나는 최적의 복잡성을 가진 모델 구조를 찾는다.이 과정을 모델의 자기 조직화라고 합니다.

GMDH에서 사용된 첫 번째 기본 함수는 점진적으로 복잡한 콜모고로프-가보르 다항식(2):

일반적으로 최대 2차 함수를 가진 보다 단순한 부분 모델이 사용됩니다.[1]

유도 알고리즘은 다항식 신경망으로도 알려져 있습니다.위르겐 슈미드후버는 GMDH를 최초의 딥러닝 방법 중 하나로 언급하며,[2][3] GMDH가 1971년 초에 8층 신경망을 훈련시키는 데 사용되었다고 언급했습니다.

역사

GMDH 저자 – 소련 과학자 교수.알렉세이 G.이바크넨코.

이 방법은 1968년 교수에 의해 고안되었다.알렉세이 G. 키예프 사이버네틱스 연구소의 이바크넨코. 키이우처음부터 이 귀납적 접근은 컴퓨터 기반의 방법이었기 때문에 컴퓨터 프로그램과 알고리즘의 세트는 새로운 이론 원리의 기초에서 달성된 주요 실제 결과였다.오픈코드 셰어링이라는 저자의 정책 덕분에 이 방법은 전 세계 수많은 과학 실험실에서 빠르게 정착되었다.대부분의 일상적인 작업이 컴퓨터로 이동되기 때문에 객관적인 결과에 대한 인간의 영향이 최소화됩니다.사실, 이 접근법은 컴퓨터가 인간에게 강력한 조언자 역할을 할 수 있다는 인공지능 논문의 실행 중 하나로 여겨질 수 있다.

GMDH의 개발은 과학의 다른 영역에서 아이디어를 합성:"블랙 박스"의 인공 두뇌학의 개념과 pairwise 기능, 이것은 괴델의 불완전성 정리 그리고"결정 선택의 자유"[4]은 Adhémar의 부정확과 맥주의 원리의 가보르의 원리의 성공적인 유전자 선택의 원칙 o.으로 이루어져 있습니다fe외부 추가.[5]

GMDH는 [6]불확실성 하에서 실험 데이터에 대한 모델의 구조-모수 식별을 위한 문제를 해결하기 위한 독창적인 방법이다.이러한 문제는 조사 대상 또는 [7]프로세스의 알려지지 않은 패턴에 근접하는 수학적 모델의 구성에서 발생합니다.데이터에 암묵적으로 포함되어 있는 정보를 사용합니다.GMDH는 자동 모델 생성, 결정되지 않은 결정 및 최적의 복잡성 모델을 찾기 위한 외부 기준에 의한 일관된 선택과 같은 원칙의 능동적 적용에 의한 다른 모델링 방법과 다르다.그것은 자동 모델 구조 생성을 위한 독창적인 다층 절차를 가지고 있었고, 이것은 쌍으로 연속되는 특징을 고려하여 생물학적 선택 과정을 모방했다.이러한 절차는 현재 딥 러닝 [8]네트워크에서 사용되고 있습니다.최적 모형을 비교하고 선택하려면 데이터 표본의 부분 집합을 둘 이상 사용합니다.표본분할은 최적모델의 자동구축 중 다른 유형의 불확실성을 암묵적으로 인정하기 때문에 예비가정을 피할 수 있다.

개발 과정에서 노이즈가 많은 데이터 모델 구축 문제와 노이즈가 [9]있는 채널을 통과하는 신호 사이에 유기적인 유사성이 확립되었습니다.이를 통해 소음-면역 [6]모델링 이론의 기초를 구축할 수 있었다.이 이론의 주요 결과는 최적 예측 모델의 복잡성이 데이터의 불확실성 수준에 따라 결정된다는 것이다. 즉, 이 수준이 높을수록(예: 소음으로 인해), 더 단순할수록(추정된 매개변수로) 최적 모델이 되어야 한다.이는 퍼지 데이터의 소음 변동 수준에 대한 최적의 모델 복잡성의 자동 적응 유도 방법으로서 GMDH 이론의 개발을 시작했다.따라서 GMDH는 종종 실험 데이터에서 지식을 추출하기 위한 원천 정보기술로 간주된다.

1968-1971년 기간은 식별, 패턴 인식 및 단기 예측 문제를 해결하기 위한 규칙성 기준만 적용하는 것이 특징이다.참조 함수 다항식으로 논리망, 퍼지 자데 집합 및 베이즈 확률 공식이 사용되었다.저자들은 새로운 접근법으로 예측의 매우 높은 정확도에 자극을 받았다.소음 내성은 조사되지 않았다.

1972~1975년.노이즈된 데이터의 모델링과 불완전한 정보 기반 문제가 해결되었다.소음 면역성 증가를 위한 추가 우선순위 정보의 다중 기준 선택 및 활용이 제안되었다.최선의 실험은 추가 기준에 의한 최적 모델의 확장 정의를 통해 소음 수준이 신호보다 10배 더 클 수 있다는 것을 보여주었다.그 후 샤논의 일반 커뮤니케이션 이론을 이용하여 개선되었다.

1976~1979년.다층 GMDH 알고리즘의 수렴이 조사되었다.일부 다층 알고리즘에는 제어 시스템의 정적 오류와 유사한 "다층 오류"가 있는 것으로 나타났다.1977년 다층 GMDH 알고리즘에 의한 객관적 시스템 분석 문제 해결이 제안되었다.기준 앙상블에 의한 정렬은 유일한 최적의 방정식 시스템을 찾아내고, 따라서 복잡한 객체 요소, 주요 입력 및 출력 변수를 보여주는 것으로 밝혀졌다.

1980~1988년.많은 중요한 이론적 결과가 나왔다.장기 예측을 위해 완전한 물리적 모델을 사용할 수 없다는 것이 명백해졌다.GMDH의 비물리적 모델이 회귀 분석의 물리적 모델보다 근사치와 예측에 더 정확하다는 것이 입증되었다.모델링에 두 가지 다른 시간 척도를 사용하는 2-레벨 알고리즘이 개발되었습니다.

1989년부터 퍼지 객체의 비모수 모델링을 위한 새로운 알고리즘(AC, OCC, PF)과 전문가 시스템을 위한 SLP가 개발 및 [10]조사되었다.GMDH 개발의 현재 단계는 멀티프로세서 컴퓨터를 위한 딥러닝 뉴런과 병렬 유도 알고리즘의 꽃으로 묘사될 수 있다.

외부 기준

외부 기준은 GMDH의 주요 특징 중 하나이다. 기준은 모델에 대한 요건을 설명한다. 예를 들어 최소 제곱의 최소화).이 값은 항상 계수 추정에 사용되지 않은 데이터 표본의 개별 부분을 사용하여 계산됩니다.이를 통해 입력 데이터의 불확실성 수준에 따라 최적의 복잡도 모델을 선택할 수 있다.일반적인 기준이 몇 가지 있습니다.

  • 규칙성 기준(CR) – 표본 B에서 모형의 최소 제곱.
  • 최소 치우침 또는 일관성의 기준 – 두 개의 서로 다른 표본 A와 B를 기반으로 개발된 두 모델의 추정 출력(또는 계수 벡터) 간의 차이 제곱 오차를 표본 B에서 추정된 출력 제곱으로 나눈 값.이를 사용하는 모델을 비교함으로써 일관된 모델을 얻고 노이즈가 많은 [1]데이터로부터 숨겨진 물리적 법칙을 복구할 수 있습니다.
  • 교차 검증 기준.

GMDH를 이용한 모델 개발에 대한 간단한 설명

GMDH를 사용한 모델링의 경우 선택 기준과 최대 모델 복잡도만 사전 선택됩니다.그 후 설계 프로세스는 첫 번째 레이어부터 시작하여 계속 진행됩니다.숨겨진 층의 층과 뉴런의 수, 모델 구조는 자동으로 결정됩니다.모든 가능한 입력 조합(모든 가능한 뉴런)을 고려할 수 있습니다.그런 다음 (훈련 데이터를 사용하여) 특이값 분해와 같은 사용 가능한 최소 방법 중 하나를 사용하여 다항식 계수를 결정한다.그 후, (데이터를 테스트하기 위한) 더 나은 외부 기준 값을 가진 뉴런은 유지되고 다른 뉴런은 제거된다.층의 최량 뉴런에 대한 외부 기준이 최소에 도달하거나 정지 기준을 초과하면 네트워크 설계가 완료되고 마지막 층의 최량 뉴런의 다항식이 수학적 예측 함수로 도입되며, 그렇지 않으면 다음 층이 생성되며 이 과정은 [11]계속된다.

GMDH형 뉴럴 네트워크

부분 모형 고려 순서를 선택하는 방법은 여러 가지가 있습니다.GMDH에서 사용되며 원래 다층 유도 절차라고 불리는 첫 번째 고려 순서가 가장 인기 있는 순서입니다.기본 함수에서 생성된 점차 복잡한 모델을 분류한 것입니다.최상의 모델은 최소 외부 기준 특성으로 나타납니다.다층 시술은 뉴런의 다항식 활성화 기능을 가진 인공신경망에 해당한다.따라서 이러한 접근방식을 사용하는 알고리즘은 보통 GMDH형 뉴럴 네트워크 또는 다항식 뉴럴 네트워크라고 불립니다.Li는 GMDH형 신경망이 단일 지수 평활,[12] 이중 지수 평활, ARIMA 및 역 전파 신경망과 같은 기존 예측 알고리즘보다 더 나은 성능을 보였다.

조합 GMDH

그림 1. 복잡도가 다른 조합 GMDH 모델에 대한 규칙성 기준 최소값의 전형적인 분포.

점점 더 대중화되는 부분 모델 고려에 대한 또 다른 중요한 접근법은 제한적이거나 완전한 조합 검색입니다.이 접근법은 다항식 뉴럴 네트워크에 비해 몇 가지 장점이 있지만 상당한 계산 능력을 필요로 하므로 입력 수가 많은 객체에는 효과적이지 않습니다.조합 GMDH의 중요한 성과는 입력 데이터의 소음 수준이 0보다 클 경우 선형 회귀 접근법을 완전히 능가한다는 것이다.이를 통해 철저한 정렬 중에 최적의 모델을 찾을 수 있습니다.

Basic Combinatory 알고리즘은 다음 단계를 수행합니다.

  • 데이터 샘플을 적어도 두 개의 샘플 A와 B로 나눕니다.
  • 복잡도가 꾸준히 증가하는 부분 모델에 따라 A에서 하위 표본을 생성합니다.
  • 모형 복잡성의 각 계층에서 부분 모형의 계수를 추정합니다.
  • 표본 B의 모형에 대한 외부 기준 값을 계산합니다.
  • 기준의 최소값으로 표시된 최적의 모형(모형 집합)을 선택합니다.
  • 선택한 최적 복잡도 모형의 경우 전체 데이터 표본에 대한 계수를 다시 계산합니다.

GMDH형 뉴럴 네트워크와 대조적으로 조합 알고리즘은 기준 값의 증가 지점이 단순히 국소 최소값이 될 수 있기 때문에 일반적으로 특정 수준의 복잡성에서 멈추지 않는다. 그림 1을 참조한다.

알고리즘

  • 조합(COMBI)
  • 다층 반복(MIA)
  • GN
  • 객관적 시스템 분석(OSA)
  • 하모니
  • 2레벨(ARIMAD)
  • 승수-가법(MAA)
  • 목표 컴퓨터 클러스터화(OCC)
  • 포인팅 핑거(PF) 클러스터화 알고리즘
  • 아날로그 컴플렉싱(AC)
  • 조화적 재디스크라이제이션
  • MTSD(Multilayer Theory of Statistical Decisions) 기반 알고리즘
  • 적응형 모델 그룹 진화(GAME)

소프트웨어 목록

레퍼런스

  1. ^ a b c Madala, H.R.; Ivakhnenko, O.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling. Boca Raton: CRC Press. ISBN 978-0849344381. Archived from the original on 2017-12-31. Retrieved 2019-11-17.
  2. ^ Schmidhuber, Jürgen (2015). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
  3. ^ Ivakhnenko, Alexey (1971). "Polynomial theory of complex systems" (PDF). IEEE Transactions on Systems, Man and Cybernetics. SMC-1 (4): 364–378. doi:10.1109/TSMC.1971.4308320.
  4. ^ Gabor, D. (1971). Perspectives of Planing. Organization of Economic Cooperation and Development. London: Imp.Coll.
  5. ^ Beer, S. (1959). Cybernetics and Management. London: English Univ. Press.
  6. ^ a b Ivakhnenko, O.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF). Kyiv: Naukova Dumka. Archived from the original (PDF) on 2017-12-31. Retrieved 2019-11-18.
  7. ^ Ivakhnenko, O.G.; Lapa, V.G. (1967). Cybernetics and Forecasting Techniques (Modern Analytic and Computational Methods in Science and Mathematics, v.8 ed.). American Elsevier.
  8. ^ Takao, S.; Kondo, S.; Ueno, J.; Kondo, T. (2017). "Deep feedback GMDH-type neural network and its application to medical image analysis of MRI brain images". Artificial Life and Robotics. 23 (2): 161–172. doi:10.1007/s10015-017-0410-1. S2CID 44190434.
  9. ^ Ivahnenko, O.G. (1982). Inductive Method of Models Self-organisation for Complex Systems (PDF). Kyiv: Naukova Dumka. Archived from the original (PDF) on 2017-12-31. Retrieved 2019-11-18.
  10. ^ Ivakhnenko, O.G.; Ivakhnenko, G.A. (1995). "The Review of Problems Solvable by Algorithms of the Group Method of Data Handling (GMDH)" (PDF). Pattern Recognition and Image Analysis. 5 (4): 527–535. CiteSeerX 10.1.1.19.2971.
  11. ^ Sohani, Ali; Sayyaadi, Hoseyn; Hoseinpoori, Sina (2016-09-01). "Modeling and multi-objective optimization of an M-cycle cross-flow indirect evaporative cooler using the GMDH type neural network". International Journal of Refrigeration. 69: 186–204. doi:10.1016/j.ijrefrig.2016.05.011.
  12. ^ Li, Rita Yi Man; Fong, Simon; Chong, Kyle Weng Sang (2017). "Forecasting the REITs and stock indices: Group Method of Data Handling Neural Network approach". Pacific Rim Property Research Journal. 23 (2): 123–160. doi:10.1080/14445921.2016.1225149. S2CID 157150897.

외부 링크

추가 정보

  • A.G. 이바크넨코엔지니어링 사이버네틱스의 문제에 관한 휴리스틱 자기조직화, Automatica, vol.6, 1970 - 페이지 207-219.
  • S.J. 팔로우.모델링에서의 자기조직화 방법: GMDH형 알고리즘뉴욕, 바젤: 마르셀 데커 주식회사, 1984년, 오후 350시.
  • H.R. 마다라, A.G. 이바크넨코복잡한 시스템 모델링을 위한 유도 학습 알고리즘.CRC 프레스, Boca Raton, 1994.