데이터 농업

Data farming

데이터 농장은 설계된 컴퓨터 실험을 사용하여 데이터를 "증식"하는 과정이며, 이는 통계 및 시각화 기법을 사용하여 분석하여 복잡한 시스템에 대한 통찰력을 얻을 수 있다. 이 방법들은 어떤 계산 모델에나 적용될 수 있다.

다음과 같은 은유에서 알 수 있듯이 데이터 농사는 데이터 마이닝과 다르다.

광부들은 땅속에 묻혀 있는 귀중한 광석 덩어리를 찾지만, 바깥에 무엇이 있는지, 혹은 주변으로부터 그 덩어리를 추출하는 것이 얼마나 힘든지 통제할 수 없다…… 마찬가지로, 데이터 광부들은 방대한 양의 데이터 안에 묻혀 있는 귀중한 정보 덩어리를 찾아내려고 한다. 데이터 마이닝 기법은 데이터 집합의 흥미로운 상관관계나 클러스터를 식별하기 위해 통계적 및 그래픽적 수단을 사용한다.

농부들은 수확량을 극대화하기 위해 토지를 경작한다. 그들은 관개, 해충 방제, 농작물 순환, 비료 등을 이용하여 환경을 유리하게 조작한다. 소규모 설계 실험을 통해 이러한 치료법이 효과적인지 여부를 판단할 수 있다. 마찬가지로, 데이터 농부는 유용한 정보를 쉽게 추출할 수 있는 방법으로 모델로부터 데이터를 증가시키기 위해 대규모 설계 실험을 이용하여 시뮬레이션 모델을 유리하게 조작한다... 그 결과는 풍부한 것 외에도 모델 입력 요소와 모델 반응 사이의 근본 인과 관계를 밝혀낼 수 있다. 이러한 관계에 대한 그래픽 및 통계적 견해.[1]

NATO 모델링 및 시뮬레이션 태스크 그룹은 MSG-088의 최종 보고서에 데이터 팜 프로세스를 문서화했다. 여기서 데이터 팜은 신속한 시나리오 프로토타이핑, 시뮬레이션 모델링, 실험 설계, 고성능 컴퓨팅, 반복 루프에서 분석 및 시각화를 결합하는 데 협업 프로세스를 사용한다.

역사

실험 설계 과학(DOE)은 R.A.에 의해 개척된 한 세기 이상 존재해 왔다. 피셔는 농업 연구에 종사한다. 많은 고전적인 실험 설계는 시뮬레이션 연구에 사용될 수 있다. 그러나 계산 실험은 비용, 요인 수, 소요 시간, 복제 능력, 자동화 능력 등에서 실제 실험을 하는 것보다 훨씬 적은 제약을 가지고 있다. 따라서 대규모 시뮬레이션 실험을 특별히 지향하는 프레임워크가 보장된다.

사람들은 컴퓨터가 있는 동안 컴퓨터 실험을 해 왔다. '데이터 농업'이라는 용어는 1998년[2] 해양공사의 프로젝트 알버트(Albert)와 연계해 만들어진 말로, 소규모 에이전트 기반 증류 모델(가연성 시뮬레이션의 일종)을 만들어 특정 군사적 도전을 포착한 것이다. 이 모델들은 마우이 고성능 컴퓨터 센터와 다른 시설에서 수천, 수백만 번 실행되었다. 프로젝트 앨버트 분석가들은 모형을 다듬고 그 결과를 해석하기 위해 군사 과목 전문가들과 협력할 것이다.

초기에는 완전 요인 설계(그리드)를 사용하여 시뮬레이션이 매우 빨리 실행되어야 하며 연구는 고성능 컴퓨팅을 필요로 했다. 그렇더라도 차원성의 저주 때문에 적은 수의 요인(제한된 수준)만 조사할 수 있었다.

해군 대학원 데이터 농업을 위한 SEED 센터는 또한 Maui와 다른 시설에서의 컴퓨팅 능력을 더 잘 활용하기 위해 모델 생성, 출력 분석, 새로운 실험 설계 생성에 있어 Project Albert와 긴밀히 협력했다. 데이터 농업을 위해 특별히 개발된 설계의 최근 획기적인 발전은 , [3][4]그 중에서도 에서 찾을 수 있다.

워크샵

데이터농업을 위한 SEED 센터에서 1998년부터 일련의 국제 데이터 농업 워크숍을 개최하고 있다. 국제 데이터 농업 워크숍 1은 1991년에 열렸으며, 그 이후로 16개의 워크샵이 더 열렸다. 이번 워크숍에서는 캐나다, 싱가포르, 멕시코, 터키, 미국 등 참가국들의 다양한 대표단이 참가하고 있다.[5]

국제 데이터 농업 워크숍은 다양한 전문가 팀 간의 협업을 통해 운영된다. 2008년에 열린 가장 최근 워크숍에는 100개 이상의 팀이 참가했다. 데이터 농업인 팀에는 로봇공학, 국토안보, 재해구호 등 특정 연구분야가 배정된다. 피타고라스 ABM, 물류전투사령부 모델, 에이전트 기반 센서이펙터 모델(ABSEM) 등 그룹별로 다른 형태의 데이터 팜을 실험·활용하고 있다.[5]

참조

  1. ^ Lucas, T. W.; Kelton, W. D.; Sanchez, P. J.; Sanchez, S. M.; Anderson, B. L. (2015). "Changing the Paradigm: Simulation, Now a Method of First Resort". Naval Research Logistics. 62 (4): 293–305. doi:10.1002/nav.21628.
  2. ^ Brandstein, A.; Horne, G. (1998). "Data Farming: A Meta-Technique for Research in the 21st Century". Maneuver Warfare Science. Quantico, VA: Marine Corps Combat Development Command.
  3. ^ Kleijnen, J. P. C.; Sanchez, S. M.; Lucas, T. W.; Cioppa, T. M. (2005). "A User's Guide to the Brave New World of Designing Simulation Experiments". INFORMS Journal on Computing. 17 (3): 263–289. doi:10.1287/ijoc.1050.0136.
  4. ^ Sanchez, S. M.; Wan, H. (2015). "Work Smarter, Not Harder: A Tutorial on Designing and Conducting Simulation Experiments" (PDF). Proceedings of the 2015 Winter Simulation Conference. Piscataway, NJ: Institute of Electrical and Electronic Engineers, Inc.: 1795–1809. doi:10.1109/WSC.2015.7408296. ISBN 978-1-4673-9743-8. S2CID 59600635.
  5. ^ a b Horne, G, & Schwierz, K. (2008). 전 세계의 데이터 팜 개요. 1442-1447. doi:10.1109/WSC.28.4736222에 제시된 용지

외부 링크