🌏

deer.a7.3_5. title: TPU 에서 online data augmentation 이 안 된다는 문제점이란

🚀 prev note

♻️ prev note

🚀 next note

♻️ next note

17 more properties

런타임 이야기이다. TPU 사용시 주의사항 (참고1:py_function 을 중심적으로) 에 따라, py_function (참고7:과거의 삽질 흔적)과 같이 CPU/GPU 를 통해 수행되어야만 제공할 수 있는 서드파티 데이터 증강, 데이터 변형 라이브러리 (e.g. Albumentations) 를 런타임에 사용할 수 없기 때문에 TensorFlow 가 제공하는 기본 Augmentation (참고4:이미지의경우) 이상을 런타임에 지원하기 위해서는 Augmentation Layer 을 따로 정의 (참고2,3,6:keras 를 통해 augmentation 정의하기와 그 장점, 참고5:tensorflow native 을 이용해서 augmentation 정의하기) 하거나 TesorFlow / Keras Layer 로 구현된 데이터 증강 오픈소스 라이브러리를 찾아내야 한다.

참고

deer.8. title:
TPU 를 이용해서 모델을 학습시키려고 할 때 신경써야 하는 부분들

나중에 전처리 레이어를 포함하는 추론 전용 엔드 투 엔드 모델을 내보낼 수 있습니다. 이 작업의 주요 이점은 모델을 이식 가능하게 만들고 훈련/적용 편향을 줄이는 데 도움이 된다는 것입니다. 모든 데이터 전처리가 모델의 일부인 경우, 다른 사람들은 각 특성이 어떻게 인코딩되고 정규화될 것으로 예상되는지 알 필요 없이 모델을 로드하고 사용할 수 있습니다.

We implement random color jitter as a custom preprocessing layer. (keras.layers.Layer 클래스를 상속받아 커스텀 레이어를 정의. code 조각 참고)

Image augmentation layers : RandomCrop layer, RandomFlip layer, RandomTranslation layer, RandomRotation layer, RandomZoom layer, RandomHeight layer, RandomWidth layer, RandomContrast layer,

Define the CutMix data augmentation function (tensorflow native 만 이용해서 custom augmentation 을 정의. tf.function 을 사용하는 code 코드 조각 참고)

‣ Using preprocessing layers for data augmentation has the following two advantages: The data augmentation will run on GPU in batches, so the training will not be bottlenecked by the data pipeline in environments with constrained CPU resources (such as a Colab Notebook, or a personal machine) Deployment is easier as the data preprocessing pipeline is encapsulated in the model, and does not have to be reimplemented when deploying it (참고1:연관)