분포 알고리즘 추정

분포 알고리즘의 추정.각 반복 i에 대해 분포 PDU의 모집단 P에 대해 무작위 추첨이 수행된다.그런 다음 선택한 포인트 PS를 사용하여 분포 매개변수 PDe를 추정한다.그림 예제는 고유한 최적 O로 연속 목표 함수 f(X)를 최적화한다.(정상 분포 N에 따른) 표본 추출은 이완 알고리즘을 따를 때 최적 주위에 집중된다.

확률론적 모델 구축 유전 알고리즘(PMBGA)이라고도 불리는 분포 알고리즘(EDA)^[1]의 추정은 유망한 후보 솔루션의 명시적 확률론적 모델을 구축하고 샘플링함으로써 최적의 검색을 안내하는 확률론적 최적화 방법이다.최적화는 허용 가능한 솔루션보다 비정보적인 사전 솔루션을 인코딩하는 모델에서 시작하여 글로벌 최적화만 생성하는 모델로 끝나는 확률론적 모델의 일련의 증분 업데이트로 간주된다.^[2][3][4]

EDA는 진화 알고리즘의 등급에 속한다.EDA와 대부분의 전통적인 진화 알고리즘의 주요 차이점은 진화 알고리즘이 하나 이상의 변이 연산자에 의해 정의된 암묵적 분포를 사용하여 새로운 후보 솔루션을 생성하는 반면, EDA는 베이지안 네트워크로 인코딩된 명시적 확률 분포, 다변량 정규 분포 또는 비신질 분포를 사용한다는 것이다.r 모델 클래스다른 진화 알고리즘과 마찬가지로 EDA는 벡터에서 LISP 스타일 S 표현에 이르기까지 여러 표현에 걸쳐 정의된 최적화 문제를 해결하는 데 사용될 수 있으며, 후보 솔루션의 품질은 하나 이상의 객관적 기능을 사용하여 평가되는 경우가 많다.

EDA의 일반적인 절차는 다음과 같다.

(종료기준이 충족되지 않음) P :=M(t) F :=를 샘플링하여 N>0 후보 솔루션을 생성하는 동안 t := adjust_model(P, F, M(t) t : t + 1의 모든 후보 솔루션을 평가한다.

최적화에 명시적 확률론적 모델을 사용함으로써 EDA는 인식 수준이^{[citation needed]} 높은 문제와 같은 전통적인 진화 알고리즘과 최적화 기법에 대해 악명 높기로 악명 높았던 최적화 문제를 타당하게 해결할 수 있었다.그럼에도 불구하고 EDA의 장점은 이러한 알고리즘이 해결 중인 문제에 대한 많은 정보를 드러내는 일련의 확률론적 모델을 최적화 실무자에게 제공한다는 것이다.이 정보는 지역 검색을 위해 문제 특정 근린 운영자를 설계하거나 유사한 문제에 대해 향후 EDA의 실행을 편중시키거나 문제의 효율적인 계산 모델을 만드는 데 사용될 수 있다.

예를 들어 모집단이 길이 4의 비트 문자열로 표현되는 경우, EDA는 4가지 확률의 단일 벡터(p1, p2, p3, p4)를 사용하여 유망 용액의 모집단을 나타낼 수 있다. 여기서 p의 각 구성요소는 해당 위치가 1일 확률을 정의한다.이 확률 벡터를 사용하면 임의의 수의 후보 솔루션을 만들 수 있다.

분포 알고리즘(EDA)의 추정

이 절에서는 서로 다른 수준의 복잡성을 가진 잘 알려진 일부 EDA에 의해 구축된 모델을 설명한다.항상 $세대{\displaystyle }$ t ${\displaystyle t$ 선택 $연산자{\displaystyle }$ S ${\displaystyle$S$\},$ 모델 구축 연산자 $\alpha {\displaystyle }$ ${\displaystyle \alpha$}, 샘플링$$ 연산자 $\beta {\displaystyle }$ ${\displaystyle \beta$}에서$$ 모집단 $P{\displaystyle }$( ${\displaystyle t}$) ${\displaystylease$ P$(t)$로 가정한다$.$

일변량 인자화

가장 간단한 EDA는 의사결정 변수가 독립적이라고 가정한다. 즉, $p{\displaystyle }$( X ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{X\mathrm{}}_{}}$ ${\displaystyle {}_{}}$)${\displaystyle }$= ${\displaystyle p}$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$) ${\displaystyle \cdot }$ p${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$) ${\displaystyle$ p$(X_{1}, X_{2}}}=p(X_{1}})\cdot$ p$(X_{2})$.따라서 일변량 EDA는 일변량 통계에만 의존하며 다변량 분포는 $N{\displaystyle }$ ${\displaystyle N}$ 일변량$$ 확률 분포의 산물로 고려되어야 한다.

${\displaystyle D_{\text{univariate}:p(X_{1},\dots,X_{N}}=\prod _{i=1}^{{N}).}$

그러한 요소화는 많은 다른 EDA에서 사용되며, 다음에 우리는 그것들 중 일부를 설명한다.

일변량 한계 분포 알고리즘(UMDA)

그 UMDA[5]은 단순한 EDAUMD한{\displaystyle \alpha_{UMDA}}α 선택한 인구 S(P(t)){\displaystyle S(P(t))}에서. S(P(t)을 가정해){\displaystyle S(P(t))}, α UMDA{\displλ{\lambda\displaystyle}요소를 담고 있는으로써 한계 확률을 추정하기 위해 교환원을 사용한다.ays$tyle \alpha _{UMDA}$은(는) 다음과 같은 확률을 산출한다$$.

${\displaystyle p_{t+1}(X_{i})={\dfrac {1}{1}{\lambda }}\sum _{x\in S(P(t)}x_{i}}}\all i\in 1,2,\dots ,N.}$

모든 UMDA 단계는 다음과 같이 설명할 수 있다.

${\displaystyle D(t+1)=\alpha _{\text{UMDA}}\circu S\circle \beta _{\lambda }(D(t))}$

인구 기반 증분 학습(PBIL)

PBIL은 모형에 의해 암묵적으로 모집단을 나타내며, 여기에서 새로운 솔루션을 샘플링하고 모델을 업데이트한다.^[6]각 세대에서 $[\displaystyle \mu }$개의$$ 개인을 표본으로 추출하고 $[\displaystyle \lambda \leq \mu }$을(를) 선택한다$$.그런 개인은 다음과 같이 모델을 갱신하는데 사용된다.

${\displaystyle p_{t+1}(X_{i})=(1-\gamma )p_{t}(X_{i})+(\gamma /\lambda )\sum _{x\in S(P(t)}x_{i}}\all i\in 1,2,\dots,N,}$

여기서 $\gamma {\displaystyle \in }$ (${\displaystyle 0}$, 1$]$ {\$displaystyle \gamma \in$ (0$,1]}$은(는) 학습 속도를 정의하는 매개 변수로서, 작은 값으로 이전 모델 ${\displaystyle p_{}}$ t${\displaystyle {}_{}}$( ${\displaystyle {Xi}_{}}$ $){\displaystyp p_{t}(X_{i})$는 샘플링된 새 솔루션으로 약간만 수정해야 한다고$$ 판단한다.PBIL은 다음과 같이 설명할 수 있다.

${\displaystyle D(t+1)=\alpha _{\text{PIBIL}}\circ S\circle \beta _{\mu }(D(t)}}$

컴팩트 유전 알고리즘(cGA)

CGA는 또한 일변량 분포에 의해 정의된 암묵적 모집단에 의존한다.^[7]각 세대 $t{\displaystyle }$ ${\displaystyle t}$에서$$${\displaystyle 두}$ 개인 $x{\displaystyle }$, y ${\displaystyle x,y}$을(를) 샘플링하고$$, $P{\displaystyle }$( t${\displaystyle }$)${\displaystyle }$= ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$( ${\displaystyle D}$) ${\displaystyle P(t)=\beta _{2}(d)($t$)\}.$그런 다음 모집단 $P{\displaystyle }$( $){\$$displaystyle$ $P(t)}$을(를) 피트니스 감소 순서로 정렬하고$$, $S{\displaystyle }$ ${\displaystyle {\text{정렬}}_{}}$ ${\displaystyle {(}_{}f}$ )${\displaystyle {}_{}}$($){\displaystyle S_{\\text{Sort}(f)}}(P(t)})$를$$u$\{\backslash$$displaystystystyle u$},$$v$}$는 $최악$의 해결책이다$$$$.CGA는 다음과 같이 일변량 확률을 추정한다.

${\displaystyle p_{t+1}(X_{i})=p_{t}(X_{i})+\gamma(u_{i}-v_{i}),\quad \for \in 1,2,\dots,N,}$

여기서, $\gamma {\displaystyle \in }$ ( ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle ]}$ ${\displaystyle \gamma \in (0,1]}$은 학습 속도를 정의하는 상수로서, 일반적으로 usually$$ = $1{\displaystyle }$ / $displaystyle \$gamma $=1$/N$}로 설정$된다$.$ CGA는 다음과 같이 정의할 수 있다.

${\displaystyle D(t+1)=\alpha _{\text{CGA}}\circ S_{{\text{Sort}}\circle \beta _{2}(D(t)}}$

이바리산 인자화

일변량 모델은 효율적으로 계산할 수 있지만, 많은 경우 GA보다 더 나은 성능을 제공할 만큼 대표적이지 못하다.이러한 단점을 극복하기 위해 변수 쌍들 간의 종속성을 모델링할 수 있는 EDA 커뮤니티에서 이바리테 인자화 사용을 제안하였다.이바리테이트 인자화는 다음과 같이 정의할 수 있는데, 여기서 $\pi {\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$는 X i ${\$ 즉 ${\displaystyle i_{}{}_{}}$i = ${\displaystyle 1}$ ${\displaystyle \pi _{i} =1}$에 종속될 수 있는 가능한 변수를 포함한다$.$

${\displaystyle D_{\text{Bivariate}:p(X_{1},\dots,X_{N}}=\prod _{i=1}^{{N}p(X_{i} \pi _{i}).}$

이변량 분포와 다변량 분포는 일반적으로 확률론적 그래픽 모델(그래프)으로 표시되며, 여기서 에지는 통계적 의존성(또는 조건부 확률)을 나타내고 정점은 변수를 나타낸다.데이터 링크 학습에서 PGM의 구조를 학습하기 위해 사용된다.

입력 클러스터링(MIMic)을 극대화하는 상호 정보

SAMA는^[8] 변수들 사이의 연속적인 의존성을 나타내는 체인 같은 모델에서 관절 확률 분포를 인수한다.It finds a permutation of the decision variables, ${\displaystyle r:i\mapsto j}$, such that ${\displaystyle x_{r(1)}x_{r(2)},\dots ,x_{r(N)}}$ minimizes the Kullback-Leibler divergence in relation to the true probability distribution, i.e. ${\displaystyle {\pi }_{r(i+1)}=\{X_{r(i)}}$${\displaystyle \}\}}$ ${\displaystyle \pi$ _${r(i+1)}=\{X_{r(i$ 배포를 모델링함

${\displaystyle p_{t+1}(X_{1},\dots,X_{N})=p_{t}(X_{r(N)})\pd _{{n-1}p_{t}(X_{r(i)}X_{r(i+1)}.}$

새로운 해결책은 가장 왼쪽에서 가장 오른쪽 변수로 샘플링되며, 첫 번째 해결책은 독립적으로 생성되며 다른 해결책은 조건부 확률에 따라 생성된다.추정된 분포는 각 세대를 재평가해야 하기 때문에 SAMA는 다음과 같은 방법으로 콘크리트 모집단을 사용한다.

$\displaystyle P(t+1)=\beta _{\mu }\circule \alpha _{\text{SAMSY}}\circu S(P(t)).}$

이변량 한계 분포 알고리즘(BMDA)

BMDA는^[9] 이변량 분포에서 관절 확률 분포를 인수한다.첫째, 무작위로 선택한 변수가 그래프에 노드로 추가되고, 그래프에 있는 변수 중 하나에 가장 의존적인 변수는 아직 그래프에 없는 변수 중에서 선택된다. 이 절차는 나머지 변수가 그래프에서 어떤 변수에 의존하지 않을 때까지 반복된다(임계값으로 검증됨).

결과 모델은 nodes ${\displaystyle t_{}}$ ${\$ 노드에 여러 개의 트리가 뿌리를 두고 있는 숲이다$.$ ${\displaystyle I_{}}$ t$${\$displaystyle I_{t}$ 비루트 변수를 고려하여$$ BMDA는 루트 변수를 독립적으로 샘플링할 수 있는 인자화된 분포를 추정하며, 다른 모든 변수는 상위 변수들에 조건화되어야 한다.${\displaystyle {표백}_{}}$ i ${\$

${\displaystyle p_{t+1}(X_{1},\dots ,X_{N})=\prod _{X_{i}\in \Upsilon _{t}}p_{t}(X_{i})\cdot \prod _{X_{i}\in I_{t}}p_{t}(X_{i} \pi _{i}).}$

BMDA의 각 단계는 다음과 같이 정의된다.

$\displaystyle P(t+1)=\beta _{\mu }\circule \alpha _{\text{BMDA}}\circu S(P(t)).}$

다변량 인자화

EDAs 개발의 다음 단계는 다변량 인자화 사용이었다.이 경우, 공동 확률 분포는 일반적으로 크기가 제한된 다수의 성분 ${\displaystyle \pi {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle \le {}_{}}$ ${\displaystyle K,}$ ${\displaystyle \text{∀}\mathrm{}}$ ${\displaystyle i}$ ${\displaystyle \in }$ ${\displaystyle 1}$,${\displaystyle 2}$,${\displaystyle }$…${\displaystyle N}$ ${\displaystyle \pi$ _${i} \leq$ K, ~\$all$ i$\in$1,2$,\dots,N}$로 인자화된다$.$

${\displaystyle p(X_{1},\dots ,X_{N}=\prod _{{i}^{N}p(X_{i} \pi _{i}}})}$

다변량 분포를 인코딩하는 PGM의 학습은 계산적으로 비용이 많이 드는 작업이므로 EDA가 이변량 통계로부터 다변량 통계량을 추정하는 것이 보통이다.이러한 이완은 PGM을 $N{\displaystyle }$ ${\displaystyle N}$에서 다항식 시간에 구축할 수 있게 해주지만$,$ 그러한 EDA의 일반성을 제한하기도 한다.

확장 콤팩트 유전 알고리즘(eCGA)

ECGA는^[10] 의사결정 변수들 간의 고차 의존성을 모델링할 수 있는 다변량 인자화를 채택한 최초의 EDA 중 하나이다.이 접근방식은 다변량 한계 분포의 곱에 있는 공동 확률 분포를 고려한다.$T{\displaystyle {}_{}}$ ${\displaystyle {\text{eCGA}}_{}}$= {${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle }$… ,${\displaystyle {}_{}}$ ${\displaystyle {\tau \mathrm{}}_{}}$ }${\displaystyle {}_{}}$} ${\displaystyle T_{\text{e$라고 가정한다.$CGA}}=\{\tau _{1},\dots,\tau _{\Psi }\}\}}}$은(는) 하위 집합으로$$,${\displaystyle }every{\displaystyle }$ ${\displaystyle {}_{}}$ ${\displaystyle {\text{eCGA}}_{}}$ ${\$.$CGA}}$은(는) ${\displaystyle \tau K}$ ${\displaystyle \tau \leq K}$ 변수를$$ 포함하는 연결 집합이다$$.인자화된 관절 확률 분포는 다음과 같다.

${\displaystyle p(X_{1},\dots,X_{N}}=\prod _{\tau \in T_{\text{e.CGA}}p(\tau ).}$

ECGA는 링크 세트를 식별하는 절차로 "링크-러닝"이라는 용어를 대중화했다.연결-학습 절차는 (1) 모델 복잡성(MC)과 (2) 압축 인구 복잡성(CPC)의 두 가지 척도에 의존한다.MC는 모든 한계 확률을 저장하는 데 필요한 비트 수로 모델 표현 크기를 정량화한다.

${\displaystyle MC=\log _{2}(\lambda +1)\sum _{\tau \in T_{\text{eCGA}}}(2^{ \tau -1}),}$

반면에 CPC는 모든 파티션에 대한 한계 분포의 엔트로피 측면에서 데이터 압축을 정량화하는데 여기서 $where{\displaystyle }$ ${\displaystyle \lambda }$은(는) 선택된 모집단 크기, ${\displaystyle \tau }$ ${\displaystyle \{\backslash }$$displaystyle \tau }$은(는) 연결 $집합$의 결정 변수 수입니다$$${\displaystyle .}$${\displaystyle H(\tau )}$은(는) $\tau {\displaystyle }$ ${\displaystyle \tau }$에 있는 변수의 공동 엔트로피입니다.

${\displaystyle CPC=\lambda \sum _{\tau \in T_{\text{eCGA}}H(\tau ).}$

ECGA의 링크 학습은 (1) 클러스터에 각 변수를 삽입하고, (2) 현재 링크 세트의 계산 CCC = MC + CPC, (3) 클러스터 쌍을 결합하여 제공되는 CCC 증가 확인, (4) CCC 개선도가 가장 높은 클러스터에 효과적으로 결합한다.이 절차는 CCC 개선이 불가능하고 링크 모델 $T{\displaystyle {}_{}}$ ${\displaystyle {\text{eCGA}}_{}}$ ${\$ 스타일 $T_{\text{e$를 생성할 때까지 반복된다.$CGA$ ECGA는 콘크리트 모집단과 함께 작용하므로, ECGA에 의해 모델링된 인자화된 분포를 이용하여 다음과 같이 설명할 수 있다.

$\displaystyle P(t+1)=\beta _{\mu }\circule \alpha _{\text{eCGA}}\circu S(P(t)}}$

베이시안 최적화 알고리즘(BOA)

BOA는^[11][12][13] 베이지안 네트워크를 사용하여 유망한 솔루션을 모델링하고 샘플링한다.베이지안 네트워크는 변수를 나타내는 노드와 변수 쌍 사이의 조건부 확률을 나타내는 가장자리가 있는 방향의 반복 그래프다.변수 $x{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$의 값은 $\pi {\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$에 정의된 $최대{\displaystyle }$ K ${\displaystyle K}$의 다른 변수에서 조건부 확률을 추정할 수$$ 있는 인자화된 공동분포를 인코딩하는 PGM을 구축한다$.$최대우도 추정기를 사용하여 선택한 모집단

${\displaystyle p(X_{1},X_{2},\dots,X_{N}}=\prod _{i=1}^{{N}p(X_{i} \pi _{i}).}$

반면에 베이시안 네트워크 구조는 반복적으로 구축되어야 한다(링크-러닝).에지가 없는 네트워크에서 시작하여 각 단계에서 일부 채점 메트릭(예: BIC(베이지안 정보 기준) 또는 BDe(우도 동등성)를 갖는 Bayesian-Diriclet 메트릭)을 더 잘 개선하는 가장자리를 추가한다.^[14]채점 지표는 선택된 모집단을 모델링하는 정확도에 따라 네트워크 구조를 평가한다.BOA는 구축된 네트워크에서 (1) 부모가 선행하는 각 변수에 대한 조상 순서를 계산하고, (2) 각 변수를 조건부로 부모에게 샘플링한다.그러한 시나리오에 따라, 모든 BOA 단계는 다음과 같이 정의될 수 있다.

$\displaystyle P(t+1)=\beta _{\mu }\circule \alpha _{\text{BOA}\circule S(P(t))}$

연결-트리 유전 알고리즘(LTGA)

LTGA는^[15] 확률 분포를 명시적으로 모델링하지 않고 연결-트리라고 불리는 연결 모델만 모델링한다는 점에서 대부분의 EDA와 다르다.링크 $T{\displaystyle }$ ${\displaystyle T}$은 확률 분포가 연관되지 않은 연결 집합이므로 $T{\displaystyle }$ ${\displaystyle T}$에서 직접 새로운 솔루션을 샘플링할 수 있는 방법이 없다$.$ 연결 모델은 집합 집합 집합 집합(FOS)으로 저장된 링크 트리다.

${\displaystyle T_{\text{LT}=\{x_{1}\},\{x_{2}\}\},\{x_{3}\}\,\{x_{4}\}\},\{x_{1},\x_{1},\x_{3}\}, {x_{4}\}.}$

연계 트리 학습 절차는 계층적 군집화 알고리즘으로, 다음과 같이 작용한다.각 단계에서 가장 가까운 두 클러스터 $i{\displaystyle }$ ${\displaystyle i}$ $및{\displaystyle }$ j$$ ${\displaystyle j}$이(가) 병합되며$$, 이 절차는 클러스터 하나만 남아 있을 때까지 반복되며, 각 하위 트리는 $하위{\displaystyle }$ 집합 subset${\displaystyle {}_{}}$ ${\displaystyle {\text{LT}}_{}}$ ${\$$LT}}$.

LTGA는 T ${\displaystyle {\text{LT}}_{}}$ ${\$$LT}}$은(는) 재조합 연산자와 유사하지만 개선된 움직임만 허용하는 "최적 혼합" 절차를 안내한다.R ${\displaystyle {\text{LTGA}}_{}}$ ${\$$LTGA$ $표기법{\displaystyle }$ x${\displaystyle }$[ ${\displaystyle \tau }$ ${\displaystyle ]}$ ${\displaystyle \leftarrow }$ ${\displaystyle y}$ [${\displaystyle \tau }$ ${\displaystyle ]}$ ${\displaystyle$ x$[\tau ]\gets$ y$[\tau ]}$은$($는) $by$ ${\displaystyle$ y$}$에서 x {\$displaysty x}($$)$로 색인화된 유전 물질의 전송을 나타낸다$$$.$

알고리즘 Gene-pool 최적 혼합 입력: 하위 집합 $T{\displaystyle {}_{}}$ ${\displaystyle {\text{LT}}_{}}$ ${\$$LT}}$ 및$$ 모집단 $P{\displaystyle (t}$ ) ${\displaystyle$ P($t)}$ 출력$$:${\displaystyle {\text{P}}_{}}$${\displaystyle (t)}$의 $각{\displaystyle {}_{}}$ x i {\$displaystyle x_{i}$에 대한 모집단 $t+1$$displaystyle$ p(t$){\$$displaystyle P(t)}$는 T LT {\displaystystyle$$$T_{\text$${\$$}$의 각$$}에$$대해 수행한다.$LT}}}$ do            choose a random ${\displaystyle x_{j}\in P(t):x_{i}\neq x_{j}}$ ${\displaystyle f_{x_{i}}}$ := ${\displaystyle f(x_{i})}$ ${\displaystyle x_{i}[\tau ]}$:= ${\displaystyle x_{j}[\tau ]}$ if ${\displaystyle f(x_i}$${\displaystyle )}$ ${\displaystyle \le }$ ${\displaystyle {}_{}}$ x ${\displaystyle {i_{}}_{}}$ ${\$ 다음$$ x $i{\displaystyle {}_{}}$ [${\displaystyle {}_{}\tau }$ ] ${\displaystyle :=}$ ${\displaystyle x_{}}$ j${\displaystyle {}_{}}$[ ${\displaystyle \tau }$ ${\displaystyle ]}$ ${\displaystyle x_{i}[\tau ]:$$=x_{j}[\tau ]}$ 반환$$ $P{\displaystyle (t}$ ) ${\displaystyle P(t)}$

LTGA는 일반적인 선택 연산자를 구현하지 않고, 대신에 재조합 중에 선택을 수행한다.이와 유사한 아이디어들이 주로 현지 검색 휴리스틱스에 적용되어 왔으며, 이러한 의미에서 LTGA는 복합적인 방법으로 볼 수 있다.요약하면, LTGA의 한 단계는 다음과 같이 정의된다.

$[\displaystyle P(t+1)=R_{\text{LTGA}}(P(t)\circule \alpha _{\text{LTGA}(P(t)}}$

기타

• 확률 수집(PC)^[16][17]
• 학습을 통한 힐 클라이밍(HCWL)^[18]
• 다변량 정규 알고리즘(EMNA)^{[citation needed]} 추정
• Bayesian Networks 추정 알고리즘(EBNA)^{[citation needed]}
• 정상분포 벡터에 의한 확률적 힐 클라이밍(SCLVND)^[19]
• 리얼코드 PBIL^{[citation needed]}
• 이기적 유전자 알고리즘(SG)^[20]
• CDE(compact Differential Evolution)^[21] 및 그 변종^{[22][23][24][25][26][27]}
• 소형 입자 군집 최적화(CSO)^[28]
• 콤팩트한 박테리아 노화 최적화(cBFO)^[29]
• 확률론적 증분 프로그램 진화(PIPP)^[30]
• 가우스 네트워크 알고리즘(^{[citation needed]}EGNA
• 타작융합을 이용한^[31] 다변량 정규 알고리즘 추정
• 종속구조 매트릭스 유전 알고리즘(DSMGA)^[32][33]

관련

• CMA-ES
• 교차엔트로피법

참조