[TorchServe / Docker] Pytorch serving : Docker로 시작하기 2편

을 보시려면 아래 링크로 들어가 주세요. https://kjwony.tistory.com/4 [TorchServe / Docker] Pytorch serving : Docker로 시작하기 1편 Pytorch로 개발된 모델을 Deploy 하기 위해서는 TorchServe, ONNX Runtime, TensorRT, Amazon SageMaker, Kubeflow 등의 도구들이 있다. 오늘은 Torchserve로 pytorch 모델을 Deploy 하는 방법을 소개하고자 한다. Torchserve를 사 kjwony.tistory.com 전 편에서는 Docker로 Torchserve를 설치하고 Torchserve에서 제공하는 예제 스크립트를 서빙해 보는 실습을 진행했습니다. 이번 편에서는 직접 훈련한 모델을 d..

• format_list_bulleted MLOps
• · 2023. 5. 22.
• textsms

[TorchServe / Docker] Pytorch serving : Docker로 시작하기 1편

Pytorch로 개발된 모델을 Deploy 하기 위해서는 TorchServe, ONNX Runtime, TensorRT, Amazon SageMaker, Kubeflow 등의 도구들이 있습니다. 오늘은 Torchserve로 pytorch 모델을 Deploy 하는 방법을 소개하고자 합니다. Torchserve를 사용할 때, ‘conda’와 같은 가상 환경(virtual environments)에서 진행하거나, Docker를 사용할 수 있는데, 저는 Docker를 사용하기로 했습니다. Docker를 사용하면 어플리케이션 환경에 구애받지 않고 모델을 배포할 수 있기 때문에 편리합니다. 먼저 간단하게 Docker로 Torchserve를 설치하고 Torchserve에서 제공하는 예제 스크립트를 서빙해 보는 실습을..

• format_list_bulleted MLOps
• · 2023. 5. 4.
• textsms