Search
🌍

ba2.4_1.1. title: 데이터 레이크(‣)와 데이터 웨어하우스(‣)는 데이터가 정제되었는지 정제되지 않았는지, 얼마나 엄격한지 얼마나 느슨한지로 나뉜다. 데이터 웨어하우스가 고수준이다.

생성
prev summary
🚀 prev note
♻️ prev note
next summary
🚀 next note
♻️ next note
ba2.4_1.1_1.1. title: 데이터 ETL(‣) 을 거친 결과물은 데이터 웨어하우스(‣)에 저장되기도 하고 특징 저장소(‣)에 저장되기도 한다.
ba2.4_1.1.1. title: 데이터 레이크(‣) 개념은 ETL(‣)에서 변환(Transfrom)이 어렵고 복잡해지자, 이를 후순위로 미루어 ELT(‣)로 만드려는 흐름과 관련이 있다.
ba2.4_1.1.1_1. title: 전체 파이프라인 관점에서는 ELT(‣), 데이터 레이크(‣)에서 데이터 웨어하우스(‣)를 향하는 관계는 ETL(‣)이다.
💡 아이디어조각
11 more properties
그림 (참고1)
Figure 2. Main components and workflow in feature store
데이터 레이크(‣ Data Lake)는 정말 날것의 데이터, 즉 ‘원시 데이터’ 를 저장하는 저장소이다(참고2). 정말 수많은 온갖 데이터, 로그들이 데이터 레이크에 잔뜩 쌓인다(참고4). 반면, 데이터 웨어하우스(‣ Data warehouse (DW))에는 전처리가 완료되어 특정한 의미를 가지는 특징 묶음(feature group (feature set))이 저장되고, 그 특징 묶음을 설명하는 메타데이터는 메타데이터 스토리지에 차곡차곡 저장된다(참고2).
그림 (참고3)
Data warehouse versus feature store
이러다 보니 데이터 웨어하우스는 데이터의 품질 측면에서 고수준(high-quality)인 경향이 있다.
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
from : 과거의 어떤 생각이 이 생각을 만들었는가?
1.
None
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
2.
참고 : 레퍼런스