6.2_매핑정의서, 매핑흐름도

 

 

 

 

 

 

 

 

 

 

 

 

 

데이터 이행 서비스

• 업무 특성상 이행 프로그램은 일회성 프로그램입니다.
• Rule Based 이행 프로그램 생성기를 사용하여 고품질 프로그램을 생성합니다.
• 데이터 이행 후 이행 결과를 준비된 검증 절차에 따라 다양한 방법으로 검증합니다.
• 이행 규칙 변경시 해당 규칙에 관계되는 프로그램에 대해 회귀테스트를 수행합니다.

테이블 컬럼 Mapping

• 추출할 현행 테이블/컬럼을 적재할 향후 테이블/컬럼과 연결합니다.
• 변환 규칙과 정제 규칙을 정의하여 해당 컬럼에 적용시키면 MigPro가 이행 프로그램을 생성합니다.

변환 및 정제 규칙 정의

• 변환 및 정제 규칙을 정의해 두면, 이를 필요로 하는 곳에서는 사용하기만 하면 됩니다.
• 규칙이 변경될 경우, 이를 사용하는 곳은 동시에 변경됩니다.

데이터 이행 결과 검증

• 단위 검증 : Mapping 정의서에 의거하여 값이 정확하게 위치하고 있는지 눈으로 확인합니다.
• 그룹 검증 : 데이터 건수, 컬럼별 합계 등을 프로그램으로 확인합니다.

이행 프로그램 종류

• SQL Script : DB Link가 지원되는 DB는 속도가 빠른 SQL Script로 이행합니다.
• Program : jdbc가 지원되는 DB간 데이터 이행시 프로그램으로 이행합니다.

 

 

매핑정의서 작성

•매핑정의 의미

    1. 매핑정의 : 타겟 데이터 생성에 필요한 원천 데이터를 활용한 매핑 (짝 맞추기)

    2. 타겟의 의미 : 최초 원천 이외의 모든 테이블 ( 최종 테이블과 그 과정에 이써 생성되는 중간 테이블)

    3. 원천의 의미 : 타겟 테이블에 데이터를 제공하는 테이블/파일 등

 

•매핑정의 역할

    1. 구현에 필요한 로직 점검 및 보완

    2. 개발 전 Issue 및 Risk 파악의 마지막 과정

    3. ETL개발자와의 communication 도구

    4. 프로그램 목록 단위로 개발의 최소 단위 -> 단위테스트 시나리오 및 케이스 작성

 

• 매핑정의서 예시

 

 

매핑흐름도 작성

    • 소스 시스템에 있는 모든 의미 있는 데이터들에 대해 이 흐름에 맞춘 매핑과 테이블 관계 등을 정의.

 

    • 소스 시스템에서 데이터를 추출하여 ODS를 만들고 ODS로부터 DW를 생성, 그로부터 DM을 구축한 후,

      여러 다차원 분석을 위해 reporting서비스와 같은 UI까지의 데이터 흐름을 보여줌.

 

    • 데이터 프로세스 흐름도 라고도 함.

 

• 매핑흐름도 예시

 

 

 

 

데이터 추출 적재

 

1. (컬럼) 매핑 정의서

: 컬럼 매핑 정의서는 소스 테이블과 타겟 테이블의 컬럼들을 매핑하여 대상 컬럼 여부 및
매핑 규칙, 추출 조건을 정의하는 것이다. 컬럼 매핑 정의서 작성시에는 이행하면서 변경되는
코드 매핑(숫자로 된 값을 문자로 된 코드로 바꾸는 경우) 또는 하나의 데이타가 여러개의 코드값을 가져야 하는 경우와 그반대의 경우에 대한 매핑 규칙을 작성하게 된다.

출처: https://hibrainapps.tistory.com/105 [하이브레인넷 부설연구소]

2. 매핑 정의서 특징
  1) 엑셀로 작성함.
  2) 업무담당 설계자가 테이블 설계시 작성 è IT인원과 협의 è 이행담당자가 해당문서 참고
     하여 이행(협의사항 발견시 설계자에게 수정요청) è 개발자는 개발시 참고
  3) 변환 규칙과 정제 규칙을 정의하여 해당 컬럼에 기술

 

3. 매핑 정의서 관리항목

  - TOBE 테이블 (한글)명
  - TOBE (한글)컬럼명
  - TOBE 컬럼 TYPE / LENGTH / PK여부 / NULL여부
  - ASIS 테이블 (한글)명
  - ASIS (한글)컬럼명
  - ASIS 컬럼 TYPE / LENGTH / PK여부 / NULL여부
  - 변환유형 ( 1:1 매핑 / 코드변환 / 기타(변환로직, 수기처리)
  - 변환규칙
     : 코드매핑정의서 활용 코드변환 (코드매핑정의서)
     : Lookup (특정테이블을 사용한 매핑) - 특정테이블 Join하여 컬럼값을 가져오는 SQL문 기재
     : 컬럼값의 변환 - 가능한한 SQL 함수로 표현한다.
       ex) TRIM(KOR_NM), SUBSTR(IDNO, 1, 6)
     : 기타 변환 규칙에 대해 서술형으로 기재

 

4. 매핑 흐름도(데이터 Flow 흐름도)

: 소스 시스템의 의미있는 데이터에 대해 Data Flow Diagram에 맞춘 매핑과 테이블 관계등을
정의하는 일이 정보계 시스템을 설계하는 데 있어 주요 작업이다.

데이터가 DW의 Layer를 따라 흐르면서 변환되는 모습을 나타낸 그림으로 데이터 흐름도 또는 자료 흐
름도라고 칭하기도 한다.

4.1. DFD 작성의 이익

• 현업사용자의 업무 및 요구사항을 쉽게 문서화 할 수 있다.
• 현업사용자와 분석가(또는 개발자) 사이의 의사소통을 위한 공용어의 역할을 한다.
• 일관성 있고 정확한 사용자의 요구사항을 파악할 수 있는 요구분석용 도구의 역할을 한다.

4.2. DFD의 특성

• 그림 중심의 표현으로 다차원적(Multidimensional)이다.

• 데이터(자료)의 흐름에 중심을 두는 분석용 도구이다.

• 제어(Control)의 흐름은 중요시 하지 않는다.