티스토리

Ethan's Values

검색하기

블로그 홈

Ethan's Values

hykethan.tistory.com/m

Ethan_hyk 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[MLOps Engineer, Airflow] Argument 사용하여 Dag 실행하기 airflow를 사용하여 데이터 삽입, 전처리, 모델링, 검증 까지의 일련의 과정을 코딩해둔 파일을 통해 스케쥴링만 하는 환경이 단순하고 정적일 수 있다. 모델링 시 학습 변수(input), Target 변수의 타입, 스케쥴링 설정 등 적절한 옵션을 통해 작업을 수행해야 할 때 Airflow의 기능 중 Argument를 사용해서 DAG를 실행할 수 있다. 실제 사용 화면DAG 파일 작성 시 아래 모듈을 통해 Airflow 웹 상에서의 DAG 실행 시 아래 Action을 클릭 아래와 같은 화면이 나타난다. 아래 화면은 DAG 파일 코딩 시 Custom하게 변경할 수 있다.아래 화면은 학습할 입력변수 input 과 Target 변수를 각 DB 테이블에서 불러와 key값으로 병합하여 학습된다.해석- inpu.. 공감수 1 댓글수 4 2024. 6. 3.
MLOps Engineering(8) - Fast API를 사용하여 모델의 예측값 반환하는 REST API 구현 앞서 구현한 내용들을 기반으로 FastAPI를 사용하여 모델의 예측값을 받아오는 작업을 수행하겠습니다. 참고. https://mlops-for-mle.github.io/tutorial/docs/api-serving/model-api 1) Model API | ML Engineer를 위한 MLOps 📌 Iris 데이터를 입력받아 예측값을 반환하는 API 를 작성합니다. mlops-for-mle.github.io 1. Dockerfile 작성 python 버전은 3.8.18 입니다. app.py 파일에서 mlflow.sklearn.load_model 함수 실행 시 3.9 버전이면 오류가 나더라구요. 혹시나 3.9로 진행해보시고 오류나시면 버전을 바꿔 진행해보시는 것을 추천드립니다. 그리고 위의 블로그에서는 .. 공감수 0 댓글수 0 2024. 3. 27.
MLOps Engineering(7) - 모델링 수행을 위한 스케쥴링 DAG 시작 이제, 테이블에 저장되어 있는 데이터를 가지고 모델링하는 DAG를 생성해보겠습니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 이전글 1. 2024.03.22 - [MLOps] - MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 2. 2024.03.22 - [MLOps] - MLOps Engineering(5) - docker-compose up 시 테이블 자동 생성 3. 2024.03.25 - [MLOps] - MLOps Engineering(6) - 데이터 삽입 DAG 생성 모델링 수행을 위한 스케쥴링 DAG 생성 1. 컨테이너 생성 1.1 airfl.. 공감수 0 댓글수 2 2024. 3. 26.
MLOps Engineering(6) - 데이터 삽입 DAG 생성 시작 큰 목록 중 이제 환경세팅이 끝났으니, 테이블에 데이터 삽입을 위한 DAG를 만들어서 실제로 데이터 삽입이 잘 되는지 확인해보는 시간을 가져봅시다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 이전글 혹시나 환경세팅이 안되어서 이전글이 필요하신 분들을 위해서 링크 남겨놓겠습니다. 순서대로 진행시켜주시면 됩니다. 2024.03.22 - [MLOps] - MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 시작 MLOps E.. 공감수 0 댓글수 0 2024. 3. 25.
MLOps Engineering(5) - docker-compose up 시 테이블 자동 생성 시작 큰 목록은 아래와 같이 진행됩니다. 아직 0.환경세팅 부분입니다. 이전 글과 이어집니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 이전 글 https://hykethan.tistory.com/41 MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 시작 MLOps Engineering1,2에서 작성한 내용을 기반으로 다음의 내용을 Airflow로 스케쥴링 하는 작업을 수행했습니다. 순서는 아래와 같이 진행됩니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2 hykethan.tistory.com 참고 깃헙 docs https://mlops-fo.. 공감수 0 댓글수 0 2024. 3. 22.
MLOps Engineering(4) - Airflow compose-yaml 파일로 개발환경구성및 Airflow 스케쥴링 DAG 생성 개요 시작 MLOps Engineering1,2에서 작성한 내용을 기반으로 다음의 내용을 Airflow로 스케쥴링 하는 작업을 수행했습니다. 순서는 아래와 같이 진행됩니다. 0. 환경세팅 1. 테이블에 데이터 삽입을 위한 DAG 2. 모델링 수행을 위한 스케쥴링 DAG 참고 깃헙 docs https://mlops-for-mle.github.io/tutorial/docs/intro 00. Introduction | ML Engineer를 위한 MLOps Introduction mlops-for-mle.github.io 0. 환경 세팅 수행하는 내용은 개발환경에 아무것도 설치되어 있지 않은 상태, 깨끗한 상태에서 시작합니다. 수행 순서는 아래와 같습니다. - 개발 환경: GCP, Ubuntu 20.04 e2-me.. 공감수 0 댓글수 0 2024. 3. 22.
MLOps Engineering(3) - MLflow Setup MLflow Setup시 저와 같은 GCP(Google Cloud Platform)에서 VM을 생성해 Ubuntu 체제로 진행하게 된다면 문제가 발생하는 것들이 아래와 같이 있으니 참고하셔서 꼭 시간 버리는 일이 없도록 하시면 좋겠습니다. minio healthy chcek error MLflow, minio 서버 동작 확인 및 웹에서 실행 1. minio healthy check error minio health check가 계속 실패하는 오류가 나게 된다. 해결 방법: 아래 git을 참고하여 healthcheck 부분의 코드를 변경해주면 된다. https://github.com/mlops-for-mle/mlops-for-mle/issues/47 VPC 네트워크 -> 방화벽 -> 방화벽 규칙 만들기 이.. 공감수 0 댓글수 0 2024. 3. 21.
MLOps Engineering(2) - 클라우드 환경에서 개발환경 설정하기 개요 본 글은 MLOps를 직접 구현하고 배포하는 작업에 있어서, 개발환경을 로컬이 아닌 클라우드 환경에서 Linux 운영체제에서 세팅하고 -> 운영 환경에 배포하는 작업까지 진행하고자 합니다. 여러 자료들을 구글링하면서 정리하면서 저의 작업환경에 맞춘 글이니 감안하고 봐주시면 감사하겠습니다! 아래 작업을 진행하면서 가장 힘들었던 점은 정말 세세한 환경을 맞추는 부분은 글에 적혀져 있지 않아서 시행착오를 겪어가며 진행했습니다. 해당 내용을 꼼꼼하게 자세하게 다뤄서 독자들도 저와 같은 상황에서 문제를 해결할 수 있으면 좋겠습니다. 순서는 아래와 같이 진행됩니다. 내용은 더 있지만 저기까지만 하시면 뒤 내용에서 오류나는 건 없습니다. 1. GCP에서 Linux 사용하기 2. GCE VM에서 python 설치.. 공감수 0 댓글수 2 2024. 1. 12.
MLOps Engineering(1) - MLOps 그래서 어떻게 쓰는건데? 목표 MLOps에 대한 개념이 아닌 MLOps를 할 수 있게 하는 것이 목표 머신러닝 엔지니어를 위한 MLOps MLOps 0단계를 위해 자동화와 모델 개발 환경 & 모델 운영 환경 일치 시키기 MLOps를 직접 구현해보면서 각 컴포넌트들이 어떤 역할을 하는지 어떻게 연결해야 하는지 알아보기 사용 기술 오픈 소스 기반 - FastAPI, MLFlow .. Docker - 모든 컴포넌트들을 Docker로 실행 OS, 파이썬 버전, 패키지 버전, 코드, 가중치 등이 모델을 학습했을 떄의 환경과 동일해야함. 동일한 환경을 제공하기 위해 Containerization. 이를 대표하는 소프트웨어가 Docker 출저: https://mlops-for-mle.github.io/tutorial/docs/intro 00.. 공감수 0 댓글수 0 2024. 1. 8.
MLFlow MLFlow란? 머신러닝의 라이프 사이클을 관리 머신러닝 모델의 실험을 tracking하고 model을 공유 및 deploy 할 수 있도록 지원하는 라이브러리 기능 Tracking (추적): MLflow는 학습한 모델의 성과 지표, 파라미터, 코드 버전, 그리고 모델 자체를 추적할 수 있는 통합된 인터페이스를 제공합니다. 이를 통해 실험을 관리하고 비교할 수 있습니다. Projects (프로젝트): MLflow 프로젝트는 코드, 데이터, 환경 설정 등의 항목들을 포함하며, 모든 종류의 기계 학습 코드를 구조화하고 실행할 수 있는 방법을 제공합니다. Models (모델): MLflow는 모델을 저장하고 관리할 수 있는 모델 레지스트리를 제공합니다. 이를 통해 모델 버전 관리 및 추적이 가능하며, 새로운 모.. 공감수 0 댓글수 0 2024. 1. 8.
Airflow Airflow(에어플로우)는 뭘까? airflow란 AIrBnB 에서 만든 Workflow management tool이다. 예) ETL 경우, Extraction -> Tranfromation -> Loading 작업 흐름이 존재하는데, 이런 흐름을 관리하는 툴이 바로 airflow다. Airflow는 크게 아래 4가지 구성요소 Webserver Scheduler Executor Workers workflow 작성은 아래 개념을 사용 DAG(Directed Acyclic Graph) 요소1. Webserver Airflow의 로그를 보여주거나 스케쥴러에 의해 생성된 DAG의 목록, TASK 상태 등을 시각화 해서 보여줌 즉, UI를 통해 사용자에게 시각적으로 정보를 제공해주는 요소 요소2. Schedu.. 공감수 0 댓글수 0 2024. 1. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.