🌍

ba2.4.9 title: 데이터 엔지니어가 효율적이고 자동화된 데이터 파이프라인을 연결하고 관리하는 일들 전반을 DataOps(‣) 라고 한다. 이는 머신러닝 엔지니어들이 MLOps(‣) 를 구축하는 기반이다.

생성

prev summary

🚀 prev note

♻️ prev note

a9.1__2. title: MLOps는 DevOps의 자동화 철학에 더해 데이터나 모델링과 관련된 요소들도 지속적으로 자동화하는 것을 의미한다.

ba2.3.a0. title: 데이터 엔지니어링과 데이터 과학 부문에서도 소프트웨어 개발 모범 사례(‣), 소프트웨어 개발 수명 주기 지침, DevOps 모범 사례를 따라야 한다.

ba2.4_1.1_1.1. title: 데이터 ETL(‣) 을 거친 결과물은 데이터 웨어하우스(‣)에 저장되기도 하고 특징 저장소(‣)에 저장되기도 한다.

ba2.4.5. title: 워크플로 프로세스(‣) 혹은 워크플로우 오케스트레이션 도구는 다양한 형태의 작업들의 복잡한 의존관계를 관리하고, 작업들이 분산되어 처리되도록 관리하는 역할을 수행한다.

next summary

🚀 next note

♻️ next note

💡 아이디어조각

11 more properties

그림 (참고4)

ML engineering hierarchy of needs

DevOps 가 MLOps 구축의 기반이 되듯(from2) DataOps 또한 MLOps 구축의 기반이 된다(참고5,6). 자동화된 데이터플로를 설계(참고6)하는 데이터 엔지니어링과 DataOps 는 DevOps 의 자동화 철학을 이어받는다(from3). 데이터 엔지니어가 적절한 도구들을 사용해 효율적이고 자동화된(e.g. 워크플로 프로세스 도구(from5) Airflow, 데이터 레이크 및 피처 저장소 등 다양한 저장소(from6)) ETL 데이터 파이프라인(from4)을 연결하고(참고7) 관리하는 일들 전반(from1)은 MLOps 에 속하기보다는(참고2) DataOps 에 속한다(참고1). DataOps 는 머신러닝 엔지니어들(참고2)이 MLOps 를 구축(참고3)하기 위한 기반이 된다.

AIOps 는 또 뭐야

parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.

Using a feature store to connect the DataOps and MLOps workflows to enable collaborative teams

from : 과거의 어떤 생각이 이 생각을 만들었는가?

a9.1__2. title: MLOps는 DevOps의 자동화 철학에 더해 데이터나 모델링과 관련된 요소들도 지속적으로 자동화하는 것을 의미한다.

ba2.3.a0. title: 데이터 엔지니어링과 데이터 과학 부문에서도 소프트웨어 개발 모범 사례(‣), 소프트웨어 개발 수명 주기 지침, DevOps 모범 사례를 따라야 한다.

ba2.4_1.1_1.1. title: 데이터 ETL(‣) 을 거친 결과물은 데이터 웨어하우스(‣)에 저장되기도 하고 특징 저장소(‣)에 저장되기도 한다.

ba2.4.5. title: 워크플로 프로세스(‣) 혹은 워크플로우 오케스트레이션 도구는 다양한 형태의 작업들의 복잡한 의존관계를 관리하고, 작업들이 분산되어 처리되도록 관리하는 역할을 수행한다.

supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?

bb7.1.1.2_1.2__4. title: title: 아파치 빔(Apache Beam)은 분산 데이터 처리 런타임 구동 표준을 만들려는 시도이다.

opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?

None

to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?

None

참고 : 레퍼런스

DataOps focuses on data engineers being more effective by giving them access to useful tools like ETL pipelines built for operating at scale.

DataOps is not MLOps, which refers to ML Engineers being more effective. Data Ops is focused on data engineers and making them more productive with ML projects in a team setting.

chapter1, Remember from earlier that the process of automating machine learning using DevOps methodologies is MLOps. The method of building machine learning is machine learning engineering. 

chapter1, So how could it be possible to deliver the true potential of machine learning to an organization if DevOps’ basic foundational rules don’t exist or data engineering is not fully automated?

chapter1, DataOps and Data Engineering: Next up on the ML hierarchy of needs is a way to automate the flow of data.

chapter1, Therefore, data processing needs automation and operationali‐ zation. This step (dataops and data engineering) enables ML tasks further down the chain to operationalize and automate.

데이터 엔지니어링에선 데이터 ETL(Extract, Transform, Load) 과정을 통해 데이터를 가공하며 적재함. 머신러닝 분야에서도 모델 학습용 데이터 전처리, Train, Prediction시 사용 가능. 위와 같은 경우 여러개의 Sequential한 로직(앞의 output이 뒤의 input이 되는)이 존재하는데 이런 로직들을 한번에 관리해야 함.