Search
🌍

ba2.4_1.1. title: 데이터 레이크(‣)와 데이터 웨어하우스(‣)는 데이터가 정제되었는지 정제되지 않았는지, 얼마나 엄격한지 얼마나 느슨한지로 나뉜다. 데이터 웨어하우스가 고수준이다.

생성
🚀 prev note
♻️ prev note
🚀 next note
♻️ next note
ba2.4_1.1_1.1. title: 데이터 ETL(‣) 을 거친 결과물은 데이터 웨어하우스(‣)에 저장되기도 하고 특징 저장소(‣)에 저장되기도 한다.
ba2.4_1.1.1. title: 데이터 레이크(‣) 개념은 ETL(‣)에서 변환(Transfrom)이 어렵고 복잡해지자, 이를 후순위로 미루어 ELT(‣)로 만드려는 흐름과 관련이 있다.
ba2.4_1.1.1_1. title: 전체 파이프라인 관점에서는 ELT(‣), 데이터 레이크(‣)에서 데이터 웨어하우스(‣)를 향하는 관계는 ETL(‣)이다.
14 more properties
그림 (참고1)
Figure 2. Main components and workflow in feature store
데이터 레이크(‣ Data Lake)는 정말 날것의 데이터, 즉 ‘원시 데이터’ 를 저장하는 저장소이다(참고2). 정말 수많은 온갖 데이터, 로그들이 데이터 레이크에 잔뜩 쌓인다(참고4). 반면, 데이터 웨어하우스(‣ Data warehouse (DW))에는 전처리가 완료되어 특정한 의미를 가지는 특징 묶음(feature group (feature set))이 저장되고, 그 특징 묶음을 설명하는 메타데이터는 메타데이터 스토리지에 차곡차곡 저장된다(참고2).
그림 (참고3)
Data warehouse versus feature store
이러다 보니 데이터 웨어하우스는 데이터의 품질 측면에서 고수준(high-quality)인 경향이 있다.
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
from : 과거의 어떤 생각이 이 생각을 만들었는가?
1.
None
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
2.
참고 : 레퍼런스