Ethan's Values

airflow를 사용하여 데이터 삽입, 전처리, 모델링, 검증 까지의 일련의 과정을 코딩해둔 파일을 통해 스케쥴링만 하는 환경이 단순하고 정적일 수 있다. 모델링 시 학습 변수(input), Target 변수의 타입, 스케쥴링 설정 등 적절한 옵션을 통해 작업을 수행해야 할 때 Airflow의 기능 중 Argument를 사용해서 DAG를 실행할 수 있다.  실제 사용 화면DAG 파일 작성 시 아래 모듈을 통해 Airflow 웹 상에서의 DAG 실행 시 아래 Action을 클릭 아래와 같은 화면이 나타난다. 아래 화면은 DAG 파일 코딩 시 Custom하게 변경할 수 있다.아래 화면은 학습할 입력변수 input 과 Target 변수를 각 DB 테이블에서 불러와 key값으로 병합하여 학습된다.해석- inpu..

앞서 구현한 내용들을 기반으로 FastAPI를 사용하여 모델의 예측값을 받아오는 작업을 수행하겠습니다. 참고. https://mlops-for-mle.github.io/tutorial/docs/api-serving/model-api 1) Model API | ML Engineer를 위한 MLOps 📌 Iris 데이터를 입력받아 예측값을 반환하는 API 를 작성합니다. mlops-for-mle.github.io 1. Dockerfile 작성 python 버전은 3.8.18 입니다. app.py 파일에서 mlflow.sklearn.load_model 함수 실행 시 3.9 버전이면 오류가 나더라구요. 혹시나 3.9로 진행해보시고 오류나시면 버전을 바꿔 진행해보시는 것을 추천드립니다. 그리고 위의 블로그에서는 ..

시작 이제, 테이블에 저장되어 있는 데이터를 가지고 모델링하는 DAG를 생성해보겠습니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 이전글 1. 2024.03.22 - [MLOps] - MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 2. 2024.03.22 - [MLOps] - MLOps Engineering(5) - docker-compose up 시 테이블 자동 생성 3. 2024.03.25 - [MLOps] - MLOps Engineering(6) - 데이터 삽입 DAG 생성 모델링 수행을 위한 스케쥴링 DAG 생성 1. 컨테이너 생성 1.1 airfl..

시작 큰 목록 중 이제 환경세팅이 끝났으니, 테이블에 데이터 삽입을 위한 DAG를 만들어서 실제로 데이터 삽입이 잘 되는지 확인해보는 시간을 가져봅시다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 이전글 혹시나 환경세팅이 안되어서 이전글이 필요하신 분들을 위해서 링크 남겨놓겠습니다. 순서대로 진행시켜주시면 됩니다. 2024.03.22 - [MLOps] - MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 시작 MLOps E..

시작 큰 목록은 아래와 같이 진행됩니다. 아직 0.환경세팅 부분입니다. 이전 글과 이어집니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 이전 글 https://hykethan.tistory.com/41 MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 시작 MLOps Engineering1,2에서 작성한 내용을 기반으로 다음의 내용을 Airflow로 스케쥴링 하는 작업을 수행했습니다. 순서는 아래와 같이 진행됩니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2 hykethan.tistory.com 참고 깃헙 docs https://mlops-fo..

시작 MLOps Engineering1,2에서 작성한 내용을 기반으로 다음의 내용을 Airflow로 스케쥴링 하는 작업을 수행했습니다. 순서는 아래와 같이 진행됩니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 참고 깃헙 docs https://mlops-for-mle.github.io/tutorial/docs/intro 00. Introduction | ML Engineer를 위한 MLOps Introduction mlops-for-mle.github.io 0. 환경 세팅 수행하는 내용은 개발환경에 아무것도 설치되어 있지 않은 상태, 깨끗한 상태에서 시작합니다. 수행 순서는 아래와 같습니다. - 개발 환경: GCP, Ubuntu 20.04 e2-me..

MLflow Setup시 저와 같은 GCP(Google Cloud Platform)에서 VM을 생성해 Ubuntu 체제로 진행하게 된다면 문제가 발생하는 것들이 아래와 같이 있으니 참고하셔서 꼭 시간 버리는 일이 없도록 하시면 좋겠습니다. minio healthy chcek error MLflow, minio 서버 동작 확인 및 웹에서 실행 1. minio healthy check error minio health check가 계속 실패하는 오류가 나게 된다. 해결 방법: 아래 git을 참고하여 healthcheck 부분의 코드를 변경해주면 된다. https://github.com/mlops-for-mle/mlops-for-mle/issues/47 VPC 네트워크 -> 방화벽 -> 방화벽 규칙 만들기 이..

개요 본 글은 MLOps를 직접 구현하고 배포하는 작업에 있어서, 개발환경을 로컬이 아닌 클라우드 환경에서 Linux 운영체제에서 세팅하고 -> 운영 환경에 배포하는 작업까지 진행하고자 합니다. 여러 자료들을 구글링하면서 정리하면서 저의 작업환경에 맞춘 글이니 감안하고 봐주시면 감사하겠습니다! 아래 작업을 진행하면서 가장 힘들었던 점은 정말 세세한 환경을 맞추는 부분은 글에 적혀져 있지 않아서 시행착오를 겪어가며 진행했습니다. 해당 내용을 꼼꼼하게 자세하게 다뤄서 독자들도 저와 같은 상황에서 문제를 해결할 수 있으면 좋겠습니다. 순서는 아래와 같이 진행됩니다. 내용은 더 있지만 저기까지만 하시면 뒤 내용에서 오류나는 건 없습니다. 1. GCP에서 Linux 사용하기 2. GCE VM에서 python 설치..