데이터 검증 및 조정
Data validation and reconciliation산업 프로세스 데이터 검증 및 조정(PDR)은 산업 프로세스에서 측정을 수정하여 자동으로 데이터 검증 및 조정을 보장하기 위해 프로세스 정보 및 수학적 방법을 사용하는 기술입니다.PDR을 사용하면 원시 측정 데이터에서 산업 공정 상태에 대한 정확하고 신뢰할 수 있는 정보를 추출할 수 있으며 가장 가능성이 높은 공정 작업을 나타내는 일관된 단일 데이터 세트를 생성할 수 있습니다.
모델, 데이터 및 측정 오류
예를 들어 화학 공장, 정유 공장, 석유 또는 가스 생산 현장 또는 발전소의 화학 또는 열역학 공정과 같은 산업 공정은 다음과 같은 두 가지 기본적인 방법으로 표현된다.
- 프로세스의 일반적인 구조를 나타내는 모델
- 특정 시점의 프로세스 상태를 반영하는 데이터입니다.
모델에는 다양한 세부 수준이 있을 수 있습니다. 예를 들어 단순한 질량 또는 화합물 보존 균형 또는 에너지 보존 법칙을 포함한 고급 열역학 모델을 통합할 수 있습니다.수학적으로 모델은 위에서 언급한 모든 시스템 제약 조건(예: 질량 또는 단위 주변의 열 균형)을 통합하는 변수 y ( 1,… , y 의 F ( ) { F ( y ) = ( y _ , \, y { )의 비선형 시스템으로 표현될 수 있습니다.변수는 공장의 특정 위치에서의 온도 또는 압력일 수 있습니다.
에러 타입
- 랜덤 및 시스템 오류
데이터는 일반적으로 온도, 압력, 체적 유량 측정 등 산업 현장의 여러 장소에서 측정된 측정에서 비롯됩니다.DVR의 기본 원리를 이해하려면 먼저 공장 측정이 100% 정확하지 않다는 것을 인식하는 것이 중요합니다. 즉, 원시 y { y는 비선형 F (\F(y)=0의 솔루션이 아닙니다. 플랜트 밸런스를 생성하기 위해 보정 없이 측정을 사용할 경우 공장 측정이 반드시 필요합니다.mmon을 지정합니다.측정 오류는 두 가지 기본 유형으로 분류할 수 있습니다.
랜덤 오류는 가 y가 y인 랜덤 변수임을 의미합니다. 서 y {\ y는 일반적으로 알려지지 않은 참 값입니다.한편 시스템 오류는 y(\ {y가 y인 랜덤 변수 y(\displaystyle y^{*},\!)가 y y와 동일하지 않아 최적의 추정 솔루션을 도출하고 구현하기 쉽다는 특징이 있습니다.오차가 많은 요인의 합계라는 주장에 따라(따라서 중앙 한계 정리가 어느 정도 영향을 미치도록), 데이터 조정은 이러한 오차가 정규 분포를 따른다고 가정합니다.
플랜트 밸런스를 계산할 때 발생하는 기타 오류의 원인에는 누출, 비모형 열손실, 방정식에 사용되는 잘못된 물리적 특성 또는 기타 물리적 파라미터, 비모형 바이패스 라인 등의 잘못된 구조 등이 있습니다.다른 오류에는 고정 변경과 같은 비모델링 발전소 역학 및 정상 상태(대칭) 모델을 위반하는 발전소 운영의 기타 불안정성이 포함된다.측정과 샘플을 동시에 채취하지 않을 경우, 특히 연구실 분석에서 추가적인 동적 오류가 발생합니다.
데이터 입력에 시간 평균을 사용하는 일반적인 방법은 동적 문제를 부분적으로 줄입니다.그러나 연구실 분석과 같이 자주 샘플링되지 않는 데이터의 타이밍 불일치가 완전히 해소되는 것은 아닙니다.
이 평균값의 사용은 이동 평균과 마찬가지로 저역 통과 필터 역할을 하므로 고주파 노이즈가 대부분 제거됩니다.그 결과 실제로 데이터 조정은 주로 편견과 같은 체계적 오류를 수정하기 위해 조정된다.
측정 오류 제거 필요성
ISA-95는 엔터프라이즈 및 제어[1] 시스템 통합을 위한 국제 표준으로 다음과 같이 주장합니다.
데이터 조정은 엔터프라이즈-컨트롤 통합에서 심각한 문제입니다.엔터프라이즈 시스템에 유용하게 쓰려면 데이터가 유효해야 합니다.데이터는 종종 관련된 오차 요인이 있는 물리적 측정에서 결정되어야 합니다.일반적으로 이 값은 엔터프라이즈 시스템의 정확한 값으로 변환되어야 합니다.이 변환에는 변환된 값[...]의 수동 또는 인텔리전트한 조정이 필요할 수 있습니다.정확한 데이터가 실가동 및 실가동 환경에 전송되도록 시스템을 설정해야 합니다.부주의한 오퍼레이터 또는 사무상의 오류로 인해 생산량이 너무 많거나, 생산량이 너무 적거나, 생산량이 잘못되거나, 재고가 잘못되거나, 누락될 수 있습니다.
역사
PDR은 점점 더 복잡해지는 산업 공정으로 인해 점점 더 중요해지고 있습니다.PDR은 1960년대 초에 모든 [2]변수에 대해 원시 측정을 사용할 수 있는 생산 공정에서 재료 잔액을 종결하는 것을 목표로 하는 응용 프로그램으로 시작되었습니다.동시에 총체적 오류 식별 및 제거 문제가 [3]제시되었다.process.,[4][5]PDR 또한 더 일반적인 비선형 방정식 시스템에 시간이 지남에 따라 필터링과 동시에 매개 변수 평가 1에 도입되어 Quasi 정상 상태 역학 ,[7][8]열역학적 models.,[6]에서 고려하여 성수해 1960년대 후반과에서 1970년대 무한한 변수를 고려하는 데이터 화해에 실려 갔다.977년으로그리고 마흐.[7]동적 PDR은 [9]Liebman 등에 의해 1992년에 비선형 최적화 문제로 공식화되었다.
데이터 조정
데이터 조정은 측정 소음으로 인한 측정 오류(즉, 무작위 오류)를 수정하는 것을 목표로 하는 기법입니다.통계적 관점에서 주요 가정은 일련의 측정에 체계적인 오류가 존재하지 않는다는 것이다. 왜냐하면 이러한 오류가 조정 결과를 편향시키고 조정의 건전성을 감소시킬 수 있기 때문이다.
n개의\n 가 경우, 데이터 조정은 수학적으로 다음과 같은 형태의 최적화 문제로 표현될 수 있습니다.
서 y {\ 는 ,…, {\ i의 조정된 값이고 {\ 는i 입니다 , (\ )는 jj,(\ j의 측정되지 않은 변수이며, i의 편차입니다. i , ( , ) \ F ( , y^ { * ) =, \ !} 、 x, , x _ { \ x _ { \
용어 - i ) {\ _을 측정 i의 패널티라고 한다.목적 함수는 패널티의 합계이며, f ) ( i - i i ) ( \ f ( y ^ { * } ) = \ _ { i= \ { y _ { i} - { } { i } { right 로 표시됩니다
즉, 시스템 제약 조건을 충족하는 데 필요한 전체 보정(최소 제곱 항으로 측정)을 최소화하려고 합니다.또한 각 최소 제곱 항은 해당 측정치의 표준 편차에 의해 가중됩니다.표준 편차는 측정의 정확도와 관련이 있습니다.예를 들어, 95% 신뢰 수준에서 표준 편차는 정확도의 약 절반입니다.
용장성
- 센서 및 토폴로지의 용장성
데이터 조정은 공정 제약을 충족하기 위해 측정을 가능한 한 적게 수정하기 위해 중복성의 개념에 크게 의존합니다.여기서 용장성은 정보이론의 용장성과는 다르게 정의됩니다.대신에, 센서 데이터를 모델(대칭 제약 조건)과 조합하는 것으로부터 용장성이 발생합니다.구체적으로는 「공간 용장성」,[7] 「분석 용장성」, 또는 「토폴로지 용장성」이라고 불립니다.
용장성은 센서의 용장성에 의해 발생할 수 있습니다.센서는 같은 양의 측정치를 여러 개 유지하기 위해 중복됩니다.중복성은 또한 하나의 변수가 대수적 제약 조건을 사용하여 주어진 시간 또는 시간 평균 기간에 별도의 측정 세트로부터 몇 가지 독립적인 방법으로 추정될 수 있을 때 발생한다.
용장성은 관찰 가능성의 개념과 연결되어 있습니다.모델 및 센서 측정을 사용하여 값(시스템 상태)을 고유하게 결정할 수 있는 경우 변수(또는 시스템)를 관찰할 수 있습니다.센서가 제거되어 관찰 가능성이 손실되지 않는 경우 센서는 용장성이 있습니다.관측 가능성, 계산 가능성 및 중복성에 대한 엄격한 정의는 이를 결정하기 위한 기준과 함께 대수 방정식 및 부등식과 같은 정해진 제약을 가진 이러한 경우에 대해 스탠리와 [10]마흐에 의해 확립되었다.다음으로 몇 가지 특별한 경우를 나타냅니다.
위상 중복성은 수학 [11]시스템의 자유도( f\ \ ! 즉 모든 시스템 변수를 계산하는 데 필요한 최소 정보(즉, 측정)와 밀접하게 관련되어 있습니다.예를 들어 위의 예에서는 흐름 보존에 a + c 이 합니다. 세 번째 변수를 계산하려면 세 가지 변수 중 두 개의 값을 알아야 합니다.이 경우 모형의 자유도는 2입니다.모든 변수를 추정하려면 최소 2개의 측정이 필요하며 이중화를 위해 3개의 측정이 필요합니다.
위상 중복성에 대해 말할 때 측정 변수와 측정되지 않은 변수를 구분해야 합니다.다음 예제에서는x(\ x의 측정 변수와 y의 측정 변수를 .그 후 프로세스 제약의 시스템은F y) 0 y이 됩니다. 이것은 y y 및x(\ x의 비선형 시스템입니다. 만약 F() (\ F)=이면 , nven, 그러면 위상 중복성의 은 e - { red로 정의된다. 즉, 시스템을 계산하는 데 필요한 측정 위에 있는 추가 측정의 수입니다.용장성 수준을 확인하는 또 다른 방법은 f{\의 를 사용하는 것입니다.이것은 변수 수(측정 및 측정되지 않음)와 방정식 수 사이의 차이입니다.그럼 한 명은 얻는 거야
즉, 용장성은 p p와 측정되지 않은 m m의 차이입니다.총 용장성의 수준은 센서의 용장성과 토폴로지의 용장성의 합계입니다.시스템이 계산 가능하고 전체 용장성이 양의 경우 양의 용장성을 말합니다.위상 용장성의 수준은 단순히 방정식의 수(방정식이 많을수록 용장성)와 측정되지 않은 변수의 수(측정되지 않은 변수가 많을수록 용장성이 낮음)에 따라 결정된다는 것을 알 수 있다.
변수, 방정식 및 측정의 단순한 카운트는 많은 시스템에 적합하지 않으며, 여러 가지 이유로 분해됩니다. (a) 시스템의 일부에는 중복성이 있는 반면 다른 일부에는 중복성이 없으며, 일부에는 계산조차 불가능할 수 있으며, (b) 다른 작동 지점에서 다른 결론을 도출할 수 있습니다.예를 들어, 4개의 스트림과 2개의 유닛이 있는 다음 시스템을 고려합니다.
계산 가능한 시스템과 계산 불가능한 시스템의 예
- 계산 가능한 시스템 및 계산 불가능한 시스템
우리는 흐름 보존 제약 조건만을 통합하여 + c {\c,\!} 및 d =d,\!}을 . F( x , y ) (\F () 0 , \ display style p- m - 0 , \ p - m - display 0 . 0 , \ p p p p p p p p p p p p p {\ {\ p p p p {\ 0 - m - p - display p - m - - dis
c c 및 d에 측정값이 c(\ c 및 b에 이 없는 경우 시스템을 계산할 수 없습니다c b 입니다.한편 b b d(\ d가 아닌 \ a와 c c가 알려진 에는 시스템을 계산할 수 있습니다.
1981년 질량 및 에너지 균형 [12]제약만을 포함하는 이러한 종류의 흐름 네트워크에 대한 관측 가능성과 중복성 기준이 입증되었다.모든 발전소 입력과 출력을 "환경 노드"로 결합하면 관측 가능성 상실은 측정되지 않은 스트림의 주기에 해당한다.이는 위의 두 번째 경우에 나타나 있습니다.여기서 스트림a와 b는 측정되지 않은 스트림의 사이클에 있습니다.측정이 제거되면 측정되지 않은 사이클이 발생하므로 측정되지 않은 스트림의 경로를 테스트하여 용장성 분류가 이루어집니다.위의 두 번째 경우 측정 c와 d는 시스템의 일부를 관측할 수 없는 경우에도 중복됩니다.
혜택들
용장성은 측정값을 체크 및 수정하고 정확도와 정밀도를 높이기 위한 정보 소스로 사용할 수 .또한 두 사람은 조정했습니다.또한 위에서 설명한 데이터 조정 문제에는 측정되지 않은 x x도 포함되어 있습니다.정보에 근거합니다.이러한 측정되지 않은 변수에 대한 추정치는 정확도와 함께 계산될 수 있습니다.산업 프로세스에서는 데이터 조정이 제공하는 이러한 측정되지 않은 변수를 소프트 센서 또는 가상 센서라고 합니다.여기서는 하드웨어 센서가 설치되지 않습니다.
데이터 검증
데이터 검증은 조정 단계 전후의 모든 검증 및 검증 작업을 나타냅니다.
데이터 필터링
데이터 필터링은 측정 데이터를 처리하여 값이 의미 있고 기대치의 범위 내에 있도록 하는 과정을 의미합니다.조정 단계의 견고성을 높이기 위해 조정 프로세스 전에 데이터 필터링이 필요합니다.데이터 필터링에는 여러 가지 방법이 있습니다. 예를 들어 명확하게 정의된 기간 동안 여러 측정값의 평균을 취하는 것입니다.
결과 검증
결과 검증은 조정 프로세스 후에 수행된 검증 또는 검증 조치의 집합이며, 조정된 값뿐만 아니라 측정된 변수와 측정되지 않은 변수를 고려합니다.결과 검증은 조정의 신뢰성을 결정하기 위한 패널티 분석 또는 조정된 값이 특정 범위 내에 있는지 확인하기 위한 한계 검사를 포함하지만 이에 국한되지 않는다. 예를 들어 온도가 합리적인 범위 내에 있어야 한다.
총오류 검출
결과 검증에는 측정값 집합에 총 오차가 존재하는지 여부를 점검하여 조정된 값의 신뢰성을 검증하는 통계 테스트가 포함될 수 있다.이러한 테스트는 예를 들어 다음과 같습니다.
- 카이 제곱 검정(글로벌 검정)
- 개인 테스트
측정된 값 집합에 총 오차가 없는 경우 목표 함수의 각 패널티 항은 평균이 0이고 분산이 1인 랜덤 변수입니다.따라서 목적 함수는 정규 분포 랜덤 변수의 제곱합이므로 카이-제곱 분포를 따르는 랜덤 변수입니다.목적 f { f의 값을 카이-제곱 분포의 확률 밀도 함수(예: 95% 에 백분위수의 주어진 Pα와 비교하면 총오차의 존재 여부를 알 수 있다.f( )p f ( { * ) \ P _ {95의 경우 95% 확률의 총오차는 존재하지 않습니다.카이 제곱 검정은 총 오차의 존재에 대한 대략적인 표시만 제공하며 수행이 쉽습니다. 즉, 목적 함수의 값과 카이 제곱 분포의 임계 값을 비교하기만 하면 됩니다.
개별 검정에서는 목표 함수의 각 패널티 항을 정규 분포의 임계값과 비교합니다.i i - 번째 패널티 기간이 분포의 95% 신뢰 구간을 벗어나면 이 측정치에 심각한 오류가 있다고 믿을 만한 이유가 있습니다.
고급 프로세스 데이터 조정
고급 프로세스 데이터 조정(PDR)은 데이터 조정과 데이터 검증 기술을 조합하는 통합 접근 방식으로, 다음과 같은 특징이 있습니다.
- 질량 균형 외에도 열역학, 운동량 균형, 평형 제약, 유체 역학 등을 포함하는 복잡한 모델.
- 조정된 값의 유의성을 보장하기 위한 총 오류 교정 기법
- 조정 문제를 해결하기 위한 강력한 알고리즘입니다.
열역학 모델
단순 모형에는 질량 균형만 포함됩니다.모델에 에너지 균형과 같은 열역학적 제약을 추가하면 모델의 범위와 중복 수준이 증가합니다.실제로 위에서 살펴본 바와 같이 이중화 수준은 p- \ 으로됩니다.서 p p는 방정식의 수입니다.에너지 밸런스를 포함한다는 것은 시스템에 방정식을 추가하는 것을 의미하며, 이는 더 높은 수준의 중복성을 초래합니다(충분한 측정이 가능한 경우 또는 동등하게 측정되지 않은 변수가 너무 많지 않은 경우).
총오류 복구
총오차는 조정 결과를 편향시킬 수 있는 측정 체계적 오류입니다.따라서 조정 과정에서 이러한 총체적 오류를 식별하고 제거하는 것이 중요하다.조정 후에는 측정 세트의 어딘가에 총 오차가 존재하는지 여부를 나타내는 통계 테스트를 적용할 수 있습니다.이러한 총오류 교정 기법은 다음 두 가지 개념을 기반으로 합니다.
- 총오차 제거
- 총오류 완화.
총 오차 제거는 시스템 오류로 인해 편향된 하나의 측정을 결정하고 데이터 집합에서 이 측정을 삭제합니다.폐기할 측정치의 결정은 측정된 값이 조정된 값에서 얼마나 벗어나는지를 나타내는 다양한 종류의 패널티 조건에 기초한다.총 오차가 검출되면 측정에서 폐기되며 조정 프로세스를 망치는 이러한 잘못된 측정 없이 조정이 이루어질 수 있습니다.필요한 경우 측정 세트에 총 오차가 없을 때까지 제거를 반복합니다.
총 오차 완화 목표는 조정된 값이 95% 신뢰 구간 내에 있도록 의심스러운 측정의 불확실성에 대한 추정치를 완화하는 것이다.완화는 일반적으로 한 단위 주변의 측정이 총 오차(총 오차 등가)의 원인이 되는지를 판단할 수 없는 경우에 적용됩니다.그러면 관련된 측정의 측정 불확실성이 증가한다.
총 오류의 교정조치는 중복성 감소(제거) 또는 측정된 데이터의 불확실성 증가(완화) 중 하나로 조화의 품질을 감소시킨다는 점에 유의해야 한다.따라서, 초기 수준의 용장성이 데이터 조정을 확실히 실시할 수 있을 정도로 높은 경우에만 적용할 수 있습니다(섹션 2, [11]참조).
워크플로우
고도의 PDR 솔루션은 위에서 설명한 기술을 통합합니다.
- 데이터 이력, 데이터베이스 또는 수동 입력으로부터의 데이터 취득
- 원시 측정의 데이터 검증 및 필터링
- 필터링된 측정의 데이터 일치
- 결과 검증
- 범위 검사
- 전체 오류 복구(및 순서 3으로 돌아가기)
- 결과 저장(조정된 값과 함께 원시 측정)
고도의 PDR 순서의 결과는 검증 및 조정된 프로세스 데이터의 일관성 있는 세트입니다.
적용들
PDR은 측정이 정확하지 않거나 존재하지 않는 산업 부문, 예를 들어 유량계를 배치하기 어렵거나 비용이 많이 드는 업스트림 부문( 참조), 또는 원자력 발전소의 보안상의 이유로 정확한 데이터가 매우 중요한 산업 부문에서 주로 사용된다( 참조).또 다른 응용 분야는 정유 또는 화학 산업의 성능 및 공정 모니터링입니다( 참조).
PDR을 통해 측정되지 않은 변수의 추정치를 신뢰할 수 있는 방법으로 계산할 수 있으므로 독일 엔지니어링 협회(VDI Gesellschaft Energie und Umwelt)는 원자력 산업의 값비싼 센서를 대체하는 수단으로 PDR 기술을 받아들였다(VDI Norm 2048,[11] 참조).
「 」를 참조해 주세요.
레퍼런스
- ^ "ISA-95: 엔터프라이즈 및 제어 시스템 통합을 위한 국제 표준" isa-95.com
- ^ D.R. Kuhn, H. Davidson, 컴퓨터 컨트롤 II 제어의 수학, 화학Eng. 프로세스 57: 44~47, 1961.
- ^ V. Vaclavek, 시스템 엔지니어링 연구 I. 화학공학적 균형 계산의 미적분 적용에 대하여체코 화학커뮤니케이션.34: 3653, 1968.
- ^ V. Vaclavek, M. Loucka, 화학 공장에서 다성분 질량 균형을 달성하는 데 필요한 측정의 선택국사 31:1199~1205, 1976.
- ^ R.S.H. Mah, G.M. Stanley, D.W. Downing, 프로세스 흐름 조정 및 수정 및 인벤토리 데이터, Ind. & Eng. 화학, 검사. 데스 데브 15: 175~183,
- ^ J.C. Knpper, J.W. Gorman, 제약 데이터 세트의 통계 분석, AiChE 저널 26: 260–164, 1961.
- ^ a b c G.M. Stanley와 R.S.H. Mah, 프로세스 네트워크의 흐름과 온도 추정, AICHE 저널 23: 642-650, 1977.
- ^ P. Joris, B. Kalitventzeff, 프로세스 측정 분석 및 검증, Proc.CEF'87: 컴퓨터를 사용합니다.화학부, 이탈리아, 41-46 1987년
- ^ M.J. Liebman, T.F. Edgar, L.S. Lasdon, 비선형 프로그래밍 기법을 사용한 동적 프로세스를 위한 효율적인 데이터 조정 및 추정, Computers Chem.1992년 16일 963~986년
- ^ Stanley G.M.과 Mah, R.S.H.는 "프로세스 데이터 추정의 관찰 가능성과 용장성, 화학.영어, 과학, 36, 259(1981)
- ^ a b c VDI-Gesellschaft Energie und Umwelt, "가이드라인 - VDI 2048 Blatt 1 - "운용 및 수용 테스트에 대한 보정 계산에 의한 프로세스 데이터 및 그 불확실성의 제어 및 품질 향상", VDI 2048 Part 1; 2017년 9월, 독일 엔지니어 협회, 2017년.
- ^ Stanley G.M. 및 Mah R.S.H., "프로세스 네트워크의 관찰 가능성과 용장성 분류", Chem.영어, 과학, 36, 1941(1981)
- ^ P. 델라바, E. 마레찰, B.Vrielynck, B. Kalitventzeff(1999), 직접 입력으로서의 ASTM 또는 TBP 곡선과 데이터 조화의 관점에서 원유 증류 장치의 모델링 - 적용: 원유 예열 열차, 부다페스트, 5월 31일, 부다페스트, 2권 추가
- ^ M. Langenstein, J. Jansky, B. Laipple(2004년), 프로세스 데이터 검증을 통한 원자력 발전소의 메가와트 찾기, ICONE12, 미국 알링턴, 2004년 4월 25-29일.
- ^ 아만드, GHeyen, B. Kalitventzeff, 플랜트 감시 및 장애 검출: 데이터 조정과 주성분 분석, Comp.와 Chem, Eng. 25, 페이지 501-507, 2001 사이의 시너지.
- Alexander, Dave, Tannar, Dave & Wasik, Larry "Mill Information System은 정확한 에너지 어카운팅을 위해 동적 데이터 조정을 사용한다" TAPI Fall Conference 2007[1][permanent dead link]
- Rankin, J. & Wasik, L. "배치 펄핑 프로세스의 동적 데이터 조정(온라인 예측)" PAPTAC Spring Conference 2009.
- S. Narasimhan, C. Jordache, 데이터 조정 및 중대한 오류 검출: 프로세스 데이터의 인텔리전트한 사용, Houston, 2000.
- V. Verka, F. Madron, '프로세스 산업의 물질과 에너지의 균형', Elsevier Science BV, Amsterdam,
- J. Romagnoli, M.C. Sanchez, 화학 공정 운영을 위한 데이터 처리 및 조정, Academic Press, 2000.