ETCL - DW(관련)Data Warehouse

 ETCL - DW(관련)Data Warehouse

 출처 : http://blog.naver.com/cazoobong/150071796560

 

구분	기능	세부설명
Extraction (추출)	다수의 소스시스템으로 부터 데이터를 추출하는 기능	계정계 시스템으로부터 ODS DB로의 데이터 추출은 실시간/배치로 수행 현행 계정계 중계로그 디퍼드시스템이 아닌 CDC 도구에 의한 레코드 이미지 방식으로 ODS에 1차 적재 후 확장기반 DB로 적재 대량 데이터 처리는 일마감 후 배치로 적재 초기적재는 최초 1회 실시하며, 이후 변경적재 수행
Transformation (변환)	DW내 표준화 규칙에 의거 데이터 변환 소스시스템 데이터를 DW 시스템 모델 형태로 변경	데이터 필드의 형식변환 규칙에 따른 형태 변경 업무 코드의 변경
Cleansing (정제)	오류데이터를 Check하여 정제규칙에 따른 데이터 정제 수행	필수적인 데이터가 존재하지 않는 경우 데이터의 Type(문자형, 숫자형)에 위배되는 값이 들어 있는 경우 날짜의 경우 날짜로서 유효한 형태를 갖고 있지 않은 경우 금액의 경우 유효한 값의 범위를 벗어나는 경우 업무 코드의 값이 정해진 범위를 벗어나는 경우 데이터가 복수로 존재하며 서로 상충되는 경우
Loading (적재)	소스시스템으로부터 추출/변환/정제된 데이터를 타겟 시스템에 적재 적재 시간의 최소화 데이터 검증 수행	Load 유틸리티, 병렬 처리 기능 활용