아파치 OODT

Apache OODT
아파치 OODT
Apache OODT Logo
개발자Apache 소프트웨어 재단
안정된 릴리스
1.9.1 / 2021년 10월 3일; 11개월 전(2021-10-03)[1]
저장소OODT 저장소
기입처자바
운영 체제크로스 플랫폼
유형API 검색 및 인덱스
면허증.Apache 라이센스 2.0
웹 사이트oodt.apache.org

Apache ODDT(Object Oriented Data Technology)는 Apache Software Foundation에서 관리하는 오픈 소스 데이터 관리 시스템 프레임워크입니다.OODT는 원래 NASA의 과학 기록 보관소를 위한 데이터 캡처, 처리 및 공유를 지원하기 위해 NASA 제트 추진 연구소에서 개발되었습니다.

역사

이 프로젝트는 Daniel J. Crichton, Sean Kelly 및 Steve Hughes에 의해 저지된 NASA 제트 추진 연구소 내부 프로젝트로 시작되었습니다.이 [2]대처의 초기 초점은 2000년 CODATA 회의에서 Crichton 등의 논문에서 설명한 바와 같이 XML을 사용한 정보 통합과 검색에 있었습니다.

OODT를 행성 데이터 시스템과 국립 암 연구소 EDRN 또는 조기 발견 연구 네트워크 프로젝트에 배치한 후, 2005년 OODT는 NASA의 OCO(궤도 탄소 관측소) 프로젝트를 통해 대규모 데이터 처리 및 관리 시대로 진입했다.OCO에 대한 OODT의 역할은 하루에 수십 개의 작업과 수십 기가바이트의 데이터를 처리하는 대신 하루에 10,000개의 작업과 수백 테라바이트의 데이터를 처리하는 새로운 데이터 관리 처리 프레임워크를 제공하는 것이었습니다.이를 위해서는 이러한 새로운 요건을 지원하기 위해 OODT의 정비가 필요했다.NASA JPL의 Chris Mattmann 박사는 2005-2009년 3-4명의 개발자로 구성된 팀을 이끌었으며 이러한 새로운 요구사항을 지원하기 위해 OODT를 완전히 재구성했습니다.

Mattmann이 참여한 Apache Nutch와 Hadoop의 새로운 노력에 영향을 받아 OODT는 Apache Software Foundation에 프로젝트와 같이 적응하기 쉽게 개편되었습니다.또한 Mattmann은 당시 Apache Software Foundation 회장으로 있던 Dr. Justin Erenkrantz와 긴밀한 관계를 맺고 있으며, OODT를 Apache Software Foundation에 참여시키려는 아이디어가 대두되었습니다.2009년 매트만과 그의 팀은 NASA와 JPL로부터 OODT를 아파치에 도입하는 승인을 받아 재단이 관리하는 최초의 NASA 프로젝트가 되었다.7년 후, 이 프로젝트는 버전 1.0을 출시했다.

특징들

OODT는 두 가지 표준 사용 사례에 초점을 맞춥니다.빅 데이터 처리 및 정보 통합에 관한 것입니다.둘 다 Mattmann의 ICSE 2006[3] 및 SMC-IT 2009[4] 논문에 설명되어 있습니다.세 가지 핵심 서비스를 제공합니다.

파일 관리자

파일 관리자는 파일 위치와 메타데이터를 추적하고 스테이징 영역에서 제어된 액세스 저장소로 파일을 전송하는 역할을 합니다.

워크플로 관리자

워크플로 관리자는 복잡한 프로세스에 대한 제어 흐름과 데이터 흐름을 캡처하여 재현성과 과학적 파이프라인 구축을 허용합니다.

자원 관리자

리소스 관리자는 기본 리소스에 대한 워크플로 작업 및 기타 작업의 할당을 처리합니다. 예를 들어 Python 작업은 Python이 설치된 노드로 이동합니다. 이러한 요구 사항을 충족하는 노드에 대용량 디스크 또는 CPU가 필요한 작업이 적절히 전송됩니다.

3개의 핵심 서비스 외에도, OODT는 이러한 서비스를 기반으로 하는 3개의 클라이언트 지향 프레임워크를 제공합니다.

파일 크롤러

파일 크롤러는 자동으로 메타데이터를 추출하고 Apache Tika를 사용하여 파일 유형을 식별하고 관련 정보를 파일 관리자에 수집합니다.

카탈로그 및 아카이브 크롤링 프레임워크

푸시/풀 프레임워크는 원격 파일을 가져와 시스템에서 사용할 수 있도록 합니다.

카탈로그 및 아카이브 서비스 프로덕션 제너레이션 이그제큐티브(CAS-PGE)

과학적 알고리즘 래퍼(CAS-PGE, Catalog and Archive Service Production Generation Executive)는 과학적 코드를 캡슐화하여 환경에 구애받지 않고 실행할 수 있도록 합니다.또한 이를 통해 실증성을 포착하고 알고리즘을 실전 시스템에 쉽게 통합할 수 있습니다.

CAS RESTFul 서비스

파일 관리자, 워크플로 관리자 및 리소스 관리자 구성 요소의 기능을 제공하는 RESTful API 세트입니다.

OPSUI 모니터 대시보드

서비스를 노출하기 위한 웹 애플리케이션은 JAX-RS[5] 사양을 통해 기본 OODT 제품/워크플로우/자원 관리 제어 시스템을 형성합니다.이 단계에서는 Apache Wicket[6] 컴포넌트를 사용하여 구축됩니다.

OODT의 재설계 동기는 Mattmann이 2013년 Nature(저널)에 발표한 A Vision for Data [7]Science라는 논문에서 설명되었습니다.

OODT는 Java와 Python(프로그래밍 언어)을 포함한 다른 언어로 사용되는 REST[8] API를 통해 작성됩니다.

주목할 만한 용도

OODT는 최근 Soil Moiter[9] Active Passive와 [10]New Horizons를 포함한 NASA의 임무에 기여하는 것으로 강조되었다.또한 OODT는 지구과학, 행성과학, 전파천문학 및 기타 분야로 그 사용범위를 넓히는 Square Kmere Array[11] 망원경을 작동시키는 데 도움을 줍니다.OODT는 생물 정보학에서도 사용되며 Knowledgent 빅데이터 플랫폼의 [12]일부입니다.

레퍼런스

  1. ^ "[ANNOUNCE] Apache OODT 1.9.1 released". Retrieved 27 September 2022.
  2. ^ Crichton, Daniel; Hughes, John; Hyon, Jason; Kelly, Sean (2000). "Science Search and Retrieval using XML". The Second National Conference on Scientific and Technical Data, US National Committee for CODATA, National Research Council.
  3. ^ Mattmann, Chris A.; Crichton, Daniel J.; Medvidovic, Nenad; Hughes, Steve (2006-01-01). A Software Architecture-based Framework for Highly Distributed and Data Intensive Scientific Applications. Proceedings of the 28th International Conference on Software Engineering. ICSE '06. New York, NY, USA: ACM. pp. 721–730. doi:10.1145/1134285.1134400. ISBN 978-1595933751. S2CID 7699385.
  4. ^ Mattmann, C. A.; Freeborn, D.; Crichton, D.; Foster, B.; Hart, A.; Woollard, D.; Hardman, S.; Ramirez, P.; Kelly, S. (2009-07-01). A Reusable Process Control System Framework for the Orbiting Carbon Observatory and NPP Sounder PEATE Missions. Third IEEE International Conference on Space Mission Challenges for Information Technology, 2009. SMC-IT 2009. pp. 165–172. doi:10.1109/SMC-IT.2009.27. ISBN 978-0-7695-3637-8. S2CID 705732.
  5. ^ en: Java_API_for_RESTFUL_Web_Services, oldid 889016216[참고 자료]
  6. ^ en: Apache_Wicket, oldid 875122637[참고 자료]
  7. ^ Mattmann, Chris A. (2013-01-24). "Computing: A vision for data science". Nature. 493 (7433): 473–475. Bibcode:2013Natur.493..473M. doi:10.1038/493473a. ISSN 0028-0836. PMID 23344342.
  8. ^ "Apache OODT APIs - OODT - Apache Software Foundation". cwiki.apache.org. Retrieved 2016-06-27.
  9. ^ "Apache - The ASF on Twitter". Retrieved 2016-06-27.
  10. ^ "Apache - The ASF on Twitter". Retrieved 2016-06-27.
  11. ^ "Apache - The ASF on Twitter". Retrieved 2016-06-27.
  12. ^ "Q&A on the Advantages of OODT - Object Oriented Data Technology - Knowledgent Perspectives". 2014-07-30. Retrieved 2016-06-27.

외부 링크