[심화] 09. 데이터 구축 목표 및 필요기술

데이터 구축?

데이터를 수집하고 저장하는 단계

데이터 구축 목표

AIoT프로세스와 데이터 구축

네트워크 구축 바로 다음에 위치하며 앞서 구성한 디바이스와 네트워크를 기반으로 어떤 사물지능을 만들 것인가에 따라 데이터를 구축하는 단계

디바이스에서 생성된 데이터를 네트워크를 통해 저장하기도 하지만 사물지능을 만드는 데 필요한 데이터를 구축하는 작업

데이터 구축을 해야하는 이유

인공지능 모델을 학습하기 위해선 많은 데이터가 필요

데이터 구축은 인공지능의 모델학습과 제품 및 서비스 개발에 필요한 데이터를 수집하고 저장하는 단계

데이터 구축 목표와 ITO

데이터 구축 필요기술

데이터 유형 및 선정

제품 및 서비스에 필요한 데이터의 종류와 형태 그리고 특징을 분석하여 계획을 수립하는 단계

수집 데이터의 형태에 따른 분류

데이터를 형태에 따라 분류하여 정형, 반정형, 비정형 데이터로 나눔

각 분류는 데이터가 정리되어 있는 방식과 데이터를 설명하는 메타데이터의 정도에 따라 달라짐

수집 데이터의 위치에 따른 분류

동일한 시스템계에서 저장되는 내부 데이터와 외부 시스템에 저장된 외부 데이터로 분류

원천 시스템과 연계를 위한 인터페이스의 기술적 방법 및 정책 차이때문에 나눔

• 내부 데이터 : 수집하는 원천 데이터의 데이터 저장소가 내부 시스템에 있는 데이터
  • 단순 물리적 데이터 저장소 이외에도 데이터 제공자와 상호 협약에 의한 의사소통 가능
  • 원천 데이터와 수집 데이터가 동일한 시스템계에 저장되어 있으므로 외부데이터보다 기술적 제약 적음
• 외부 데이터 : 수집하는 원천 데이터의 저장소가 외부 시스템에 있는 데이터
  • 데이터 제공자와 협약된 관계가 아니라면 의사소통이 불가능

데이터 선정

제품과 서비스 활용에 필요한 데이터를 시스템의 내부 혹은 외부에서 주기성을 갖고 필요한 형태로 수집하는 활동

• 도메인에 대한 이해
• 데이터의 정확성
• 수집가능성
• 데이터의 수집난이도
• 보안문제
• 수집비용

데이터 수집방법

수집할 데이터의 수집 방법을 결정하고 수집 방법에 따른 다양한 수집 기술을 선택해 적용하는 것

데이터 수집방법의 종류(외부)

데이터 수집방법의 종류(내부)

데이터베이스 관리 시스템

데이터의 집합을 만들고, 저장 및 관리할 수 있는 기능들을 제공하는 데이터 관리에 특화된 응용 프로그램

데이터 저장을 위한 고려요소

프로그램적인 부분 뿐 아니라 하드웨어적인 부분도 고려해야함

• 저장 단가를 절감할 수 있는 비용 문제
• 자료 저장과 인출 속도를 향상시킬 수 있는 성능 문제
• 저장의 신뢰도와 안정성을 보장하는 문제
• 저장 공간의 확장성 문제
• 기존의 시스템과 빅데이터 저장 시스템 전반에 걸쳐 콘텐츠 인덱스 유지관리, 데이터 스키마 및 구조에 상관없이 검색, 수집, 저장, 편집할 수 있는 환경 구축

데이터 수집 세부계획 수립

선정된 데이터의 위치를 파악하고 데이터의 유형을 파악해 수집 시 적용할 기술 및 보안 사항등을 점검한 다음 수집 계획서를 작성하는 것

데이터 수집 계획서 예시