Search
🔵

ba2.4.5. title: 워크플로 프로세스(‣) 혹은 워크플로우 오케스트레이션 도구는 다양한 형태의 작업들의 복잡한 의존관계를 관리하고, 작업들이 분산되어 처리되도록 관리하는 역할을 수행한다.

생성
prev summary
🚀 prev note
♻️ prev note
next summary
🚀 next note
♻️ next note
ba2.4.5.2. title: 안정성이 장점인 airflow, 간단함이 장점인 prefect, dagster 은 모두 각 작업의 선후관계를 엮어주는 방식으로 작동한다. airflow, dagster 런타임에 변경이 어려운 DAG 형태로 워크플로를 정의하지만 prefect 는 조금 더 동적이다.
ba2.4.5.2_1. title: AirFlow는 머신러닝 관련 작업뿐 아니라 다양한 요소들의 워크플로 프로세스들을(‣)를 그래프 형태로 관리한다. 반면, KubeFlow는 쿠버네티스 환경 내에서 머신러닝 작업 전반을 관리하므로 엄밀히 말하면 워크플로우 전용 도구가 아니다.
bb7.1.1.2_1.2__4. title: title: 아파치 빔(Apache Beam)은 분산 데이터 처리 런타임 구동 표준을 만들려는 시도이다.
ba2.4.5.4. title: TFX와 같이 아파치 빔을 백엔드로 활용하는 프레임워크를 사용한다면 아파치 빔(beam)을 파이프라인을 실행하는 오케스트레이션 도구로 사용할 수 있다. 하지만 다양한 기능을 지원하지는 않는다.
💡 아이디어조각
11 more properties
첫째, 워크플로우 프로세스는 작업들의 복잡한 의존관계를 관리할 수 있어야 한다. 복잡한 의존관계라고 함은 단순한 파이프라인이 아닐 수 있다는 말이다. 둘째, 워크플로우의 의존관계를 구성하는 요소들은 파일에 국한되지 않아야 한다. 프로그램이나 함수의 출력값에 의존할수도 있고(참고2), 데이터베이스에 의존할수도 있다(from2,3:파일과 데이터베이스는 다르다). 셋째, 작업들이 분산되어 처리될 수 있도록 자원을 관리할 수 있어야 한다.
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
from : 과거의 어떤 생각이 이 생각을 만들었는가?
1.
2.
3.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
1.
3.
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
2.
참고 : 레퍼런스