/
data engineer는 data lake 에 저장되어 있는 원시 데이터를 가져와서 데이터를 처리, 가공하는 코드를 작성합니다. … 하나의 원시 데이터 소스에서 추출된 feature 들을 논리적인 단위로 feature group(또는 feature set)으로 묶여서, data warehouse에 저장되어 관리되며, 메타 정보는 metadata storage에 별도로 저장됩니다. 원시 데이터 소스와 feature group의 일대일 맵핑은 원시 데이터로부터 feature store의 효율적인 갱신을 용이하게 합니다. Data scientist는 모델에 따라 다양한 feature group들에서 필요한 feature들을 선별하여 하나의 dataset을 구성할 수 있으며, dataset의 구성 관련 메타 정보 역시 metadata storage에 저장되어 관리됩니다.
Search
📖

data engineer는 data lake 에 저장되어 있는 원시 데이터를 가져와서 데이터를 처리, 가공하는 코드를 작성합니다. … 하나의 원시 데이터 소스에서 추출된 feature 들을 논리적인 단위로 feature group(또는 feature set)으로 묶여서, data warehouse에 저장되어 관리되며, 메타 정보는 metadata storage에 별도로 저장됩니다. 원시 데이터 소스와 feature group의 일대일 맵핑은 원시 데이터로부터 feature store의 효율적인 갱신을 용이하게 합니다. Data scientist는 모델에 따라 다양한 feature group들에서 필요한 feature들을 선별하여 하나의 dataset을 구성할 수 있으며, dataset의 구성 관련 메타 정보 역시 metadata storage에 저장되어 관리됩니다.

출처
수집시간
2022/06/05 05:25
연결완료
1 more property
Figure 2. Main components and workflow in feature store