데이터 엔지니어링

1. 옵스 총정리 1탄

https://blog.naver.com/watch_all/222714125827

Ops(옵스) 총정리 1탄! DevOps, AIOps

2. 옵스 총정리 2탄

https://blog.naver.com/watch_all/222720454115

Ops(옵스) 총정리 2탄! MLOps, DevSecOps

 

데이터옵스

[ DataOps ]

사용자에게 데이터를 효과적으로 제공하기 위해 데이터 생성부터 소비까지의 데이터 흐름을 원활하게 제공해주고 적합한 데이터를 적시에 필요한 장소로 가져올 수 있는 프로세스를 자동화하여 데이터의 잠재력을 최대한 발휘하도록 하는 데이터 관리 방법론.

데이터옵스(DataOps)는 데이터(data)와 운영(operation)이 결합된 용어다. 데이터 흐름을 효과적으로 운영(operation)하는 데 초점을 맞춘 방법론으로 전체 데이터 생명주기에 적용한다.
데이터옵스는 기업이나 기관 내에 흩어져 있는 데이터를 적시에 분석이 필요한 장소로 가져와 효과적으로 제공하는 기술과 솔루션으로 구성된다.

데이터 분석은 데이터 수집, 변환, 적재, 정제, 분석, 시각화, 해석 등의 여러 단계를 거쳐야 한다. 일반적으로 각 단계별로 데이터 과학자의 개입이 필요하다. 분석을 위한 데이터 준비 단계부터 수작업을 통해서 이루어지기 때문에 원자료(raw data)에서 데이터 셋(data set)을 얻는 것조차 시간이 오래 걸린다. 그러나 데이터옵스를 적용하면 원자료(raw data)에서 데이터 정제(data cleansing), 데이터 분석까지의 데이터 흐름을 빠르게 진행할 수 있다.
데이터옵스를 성공적으로 구축하려면 단순히 하나의 툴이나 솔루션에 의존하기보다는 데이터 탐색, 메타데이터 관리, 거버넌스 수립 및 유지, 데이터 통합 및 데이터 파이프라인(data pipeline) 구축 등을 결합하여야 한다.

[네이버 지식백과] 데이터옵스 [DataOps] (IT용어사전, 한국정보통신기술협회)

 

* 분석 기법 정리

알고리즘 별 분석기법. 베이즈 기법, 비모수 통계

https://blog.naver.com/jju1213/222693576762

* Data Fabric

https://blog.naver.com/taeli74/222581637020

데이터 페브릭 (Data Fabric)

* 데이타 매쉬

https://couplewith.tistory.com/entry/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%A9%94%EC%8B%9C-Data-mesh-%EC%A0%95%EB%A6%AC?category=212808?category=212808 

데이터 메시 (Data mesh) 정리

 

* 각종 분포 정의

https://losskatsu.github.io/statistics/exponentialdist/#%EC%B0%B8%EA%B3%A0-%ED%99%95%EB%A5%A0%EB%B6%84%ED%8F%AC%EA%B0%84-%EA%B4%80%EA%B3%84%EB%8F%84

 

 

 

 

 

 

 

 

데이터 페브릭 (Data Fabric)