데이터패브릭 (Data Fabric)

'데이터 패브릭(Data Fabric)' 은 다양한 이기종 시스템에 분산되어 저장된 데이터에 대한 통합된 접근과 활용을 위한 솔루션으로 가트너에서 2022년 이후 12대 전략기술 중 하나로 선정 하였습니다. 즉, "다양한 시스템에 분산된 대규모 데이터에 대한 통합적인 접근과 공유를 위한 정보네트워크 체계" 라 정의할 수 있습니다.

데이터패브릭의 구성요소

1. 확장된 데이터 카탈로그

‘확장된 데이터 카탈로그’를 통한 분산된 데이터에 대한 통합적인 접근 기반 제공 - 데이터 패브릭을 실체화하기 위한 가장 핵심 요소

2. 데이터포털

‘데이터 포털’을 통해 사용자들이 데이터 카탈로그의 메타데이터를 쉽고 빠르게 검색하고 요청할 수 있는 데이터 접근 및 분석 활용 체계 제공

3. 데이터 준비 및 전달

검색-요청된 다양한 형태의 분산된 데이터 저장소에서 데이터를 추출-통합하여 전달하는 ‘데이터 준비 및 전달 체계’

개발 목표

최종목표

다양하고 복잡한 분산 데이터의 할용과 분석 환경 변화에 신속히 대응하고 “논리적 데이터 통합, 복합 분석, 복합 추론에 의한 데이터 분석 시각화”를 지원하는 데이터 패브릭 기술 개발

주요기능

• 데이터의 저장 위치 및 형태를 가상화 하는 기술
• 통합 연계를 위한 메타 데이터 기술
• 데이터 상태 모니터링 및 관리 기술
• 추상화된 데이터 스키마를 탐색하는 기능
• 데이터 뷰 생성 시 다중 데이터간 융합 추천 기능
• 머신러닝 기반 데이터 카탈로그 생성 기술
• 카테고리 기반 연관 데이터 관계 시각화 기능
• 통합 데이터 뷰 융합/정제/변환 기능
• 데이터 처리 과정을 관리하기 위한 데이터 워크플로우 기능
• 유의미한 데이터 조합 및 연관 규칙 시각화 기능
• 데이터 패브릭 포털
• 데이터 품질관리를 위한 지표 생성 기술
• 관계 데이터 간 유사 속성 관계 시각화
• 분석 복합관계 시각화 통합 기술

주요 개발 내용

| | 1단계 | 2단계 | |--|--|--| | | 1단계 <br/>(1년차 : 2023.04.01 ~ 2023.12.31 / 2년차 : 2024.01.01 ~ 2024.12.31) <br/>다양하고 복잡한 분산 데이터의 활용과 분석의 변화에 신 속히 대응하기 위한 논리적 데이터 통합 및 복합 분석 데 이터 패브릭 기술 개발 | 2단계<br/>(3년차 : 2025.01.01 ~ 2025.12.31 / 4년차 : 2026.01.01 ~ 2026.12.31)<br/>다양하고 복잡한 데이터에 대한 관계를 분석하고 시각화 하는 복합추론 데이터 패브릭 기술 개발로 도메인 실증을 통한 기술 검증 및 성과물 사업화 | | 통합형 데이터 구조 및 통일화된 데이터 접근 인터페이스 | - 데이터의 저장 위치 및 형태를 가상화 하는 기술<br/>- 통합 연계를 위한 메타 데이터 기술<br/>- 데이터 뷰 생성 시 표준 메타 정보 추출 기술<br/>- 개발 데이터 수집 및 정제 기능을 포함한 Agent개발<br/>- 외부 연동을 위한 범용적인 데이터 조회 인터페이스 개발 |- 통합형 데이터 뷰 융합/정제/변환 기능개발<br/>- 통합/연계를 위한 데이터 유형 및 저장소 확장<br/>- 데이터 가공 사용자 정의 함수 UDF 모듈 개발 |다양한 잠재적 데이터의 관리/검색/탐색 기술|- 데이터 상태 모니터링 및 관리 기술<br/>- 추상화된 데이터 스키마를 탐색 하는 기능<br/>- 데이터뷰 생성시 다중 데이터간 융합 추천 기능<br/>- 머신러닝 기반 데이터 카탈로그 생성 기술 개발<br/>- 여러 데이터 모델을 융합 및 정제하고 관리하는 기술 | - 데이터 처리 과정을 관리하기 위한 데이터 워크플로우 기능 개발<br/>- 데이터 메트릭 정보의 상태 관리 / 모니터링 기술 개발<br/>- 데이터 품질관리를 위한 지표 생성 기술 개발<br/>- 관계 데이터 간 유사 속성 관계 시각화<br/>- 데이터 패브릭 포털 개발 | 복합 추론을 통해 지식화된 데이터셋의 관계의 시각화 기술 |- 데이터 통합 기록에 대한 연관 규칙 분석 기술 개발<br/>- 관계형 데이터 간 동일 속성 파악을 위한 규칙 기반 알고리즘 개발<br/>- 머신러닝 기반 데이터 카탈로그 생성 기술 개발<br/>- 효율적인 메모리 연관 규칙 추정 알고리즘 개발<br/>- 카테고리 기반 연관 데이터 복합관계 시각화 기능|- 관계형 데이터 간 유사 속성 파악을 위한 머신러닝 모델 개발<br/>- 유의미한 데이터 조합 및 데이터 복합관계 시각화 기능 개발<br/>- 분석 복합관계 시각화 통합 기술 개발 |기술 홍보 및 사업화 지원|- 빅데이터 관련 산업 종사자 대상 데이터 패브릭 서비스 활용시 필요한 기 능 요구사항 설문 조사 및 분석<br/>- 데이터 패브릭 관련 국내외 선행특허분석 및 특허 확보 전략 수립<br/>- 공공컴퓨팅마켓 기기산업패스티벌 지능형컴퓨팅기술세미나 등 관련 행사에 기술 공개 및 홍보<br/>- 빅데이터 활용 기업 종사자 시스템 운영자 등 수요자 대상 사용성 베타 테 스트를 통한 오류리포팅 및 선호도 분석<br/>- 데이터 가공 처리 유통 거래 활용 서비스 관련 국내 표준 개발 |- 시장 조사 및 수요처 발굴을 통한 사업화 전략 수립<br/>- 데이터 패브릭을 통한 데이터 처리와 활용 등 본과제 결과물 기반 국내 표준 개발<br/>- 한국컴퓨팅사업협동조합 한국클라우드컴퓨팅연구조합 차세대컴퓨팅학회 빅데이터 분야 교육 수강 기업 등에 메일링 및 온라인 홍보<br/>- HPC 이노베이션 허브 빅데이터분야 교육생 대상 데이터 패브릭 솔루션 활용 교육 추진| | 과제 결과물인 데이터 패브릭 기술 개발 운영 플랫폼의 실증|- 데이터 패브릭 기술 개발 플랫폼의 실증 요구사항 분석 및 지원|- 데이터 패브릭 기술 개발 플랫폼의 실증 또는 시범서비스 곳 이상