어떤 상황에서는 파이프라인 중간 결과물의 일부만 wandb 에 업로드하고 싶을 수 있다. 아니면 그냥 아무것도 업로드하고 싶지 않을 수 있다. 수백GB 단위의 데이터셋을 처리하는 파이프라인의 모든 부스러기들을 전부 서버에 업로드했다가는 당연히 감당할 수 없을지도 모른다. 아티팩트(Artifact)를 꼭 파일로 업로드하거나 다운로드하지 않고(from1:이 글을 쓸 때에는 업로드와 다운로드가 코드 하나만으로 잘 될 필요가 있었다), log_artifact 와 use_artifact 를 이용해 의존관계만 시각화(from2)하도록 만들수도 있다.
이때, 일부 정보만 a = wandb.init() a.log_artifact(a_artifact) 를 통해 업로드한 아티팩트 객체 a_artifact 를 a.log_artifact(a_artifact) 를 이용해서 업로드하고, b = wandb.init() 을 통해 얻은 객체 b 에서 b.use_artifact(a_artifact) 를 사용하면 DAG 를 만들어줄 수 있다.
...
# 시각화를 위한 Table 을 등록한다.
table = wandb.Table(data=table_data, columns=table_columns)
artifact_preprocessing.add_table(table)
run_preprocess.log_artifact(artifact_preprocessing)
artifact_preprocessing.wait()
run_preprocess.finish()
...
run_train.use_artifact(artifact_preprocessing)
Python
복사
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
1.
None
from : 과거의 어떤 생각이 이 생각을 만들었는가?
1.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
1.
None
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
1.
None
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
None
참고 : 레퍼런스
1.
None