들어가며앞 글에서는 소득 분류 모델을 BentoML로 묶어 Kubernetes에 배포했다. 배포한 모델은 에러 없이 조용히 틀릴 수 있다. 들어오는 데이터가 모델이 배운 것과 달라지면 그렇다. 이 글에서는 그 변화를 Evidently로 잡는 방법을 다뤄 보자. 배치 파이프라인과 API 두 곳에 감시를 붙여 보고 경보가 떴을 때 진짜 변화인지 어떻게 가려야 하는지 실험해 본다.1. 데이터 드리프트란핵심 키워드: 데이터 드리프트, 참조 데이터, 현재 데이터, 컬럼 판정과 데이터셋 판정데이터 드리프트(data drift)는 모델에 들어오는 데이터가 모델을 만들 때의 데이터와 달라지는 것이다. 이 글의 예시는 미국 성인 소득 데이터로 연 소득 5만 달러 초과 여부를 예측하는 모델이다. 이 모델은 학력(Educa..

들어가며모델을 훈련해 MLflow에 등록했다고 끝이 아니다. 누군가 요청을 보내면 답을 돌려주는 서비스가 되어야 쓸 수 있다. 이 글에서는 앞선 MLflow 글에서 훈련해 MLflow에 등록한 모델, 그러니까 미국 성인 소득 데이터로 연 소득 5만 달러 초과 여부를 예측하는 모델을 BentoML로 패키징하고 Yatai로 Kubernetes에 배포하는 과정을 다뤄 보자.1. BentoML이란핵심 키워드: BentoML, 벤토, bentofile.yamlBentoML은 모델과 서비스 코드를 묶어 API 서버로 띄우는 도구다. 여기서 서비스 코드는 요청을 받아 모델에 넣고 예측 결과를 돌려주는 파이썬 코드를 말한다. 이번 실습에서는 service.py와 그 파일이 불러 쓰는 src/ 아래 도우미 코드다. 처음..

들어가며앞 글에서는 미국 성인 소득 데이터로 연 소득 5만 달러 초과 여부를 예측하는 모델을 학습해 MLflow에 등록했고, 그다음 글에서는 이 모델에 넣을 입력값을 Feast에 피처로 등록했다. 이 글에서는 등록한 모델과 피처를 Kubeflow Pipelines(KFP)로 이어서, 30,162명을 한 번에 예측하는 배치 추론(batch inference, 여러 건을 한 번에 예측) 파이프라인을 구성해 보자.1. Kubeflow Pipelines란핵심 키워드: KFP, 배치 추론KFP는 ML 작업 단계를 이어 자동으로 돌리는 도구이고, Kubeflow의 구성 요소 중 하나다. 쿠버네티스에서 작업을 순서대로 Pod로 실행하는 Argo Workflows를 안에서 쓰고, 그 위에 파이프라인, 실험, 실행 기록..

들어가며모델은 학습할 때도, 예측할 때도 입력값이 있어야 돌아간다. 이 글에서는 이 입력값을 Feast로 관리하는 방법을 다뤄 보자. 미국 성인 소득 데이터로 연 소득 5만 달러 초과 여부를 예측하는 모델에 넣을 값을 등록하고, 오프라인과 온라인에서 각각 조회한다.1. 피처 스토어와 Feast란핵심 키워드: 피처, 피처 스토어, 오프라인 스토어, 온라인 스토어피처(feature)는 모델에 넣는 입력값이다. 모델에 던질 질문이라고 생각하면 쉽다. 소득을 예측하는 모델이라면 "학력이 뭐예요?", "직업이 뭐예요?" 같은 질문이다. 모델은 데이터를 들고 있지 않고 학습에서 배운 판단 요령만 갖고 있어서, 예측할 때마다 이 질문의 답을 넣어 줘야 한다. 예를 들어 사용자 9f2ac416의 입력값 중 네 개는 다..

들어가며처음에는 MLflow와 Kubeflow Pipelines(KFP)가 Jenkins와 GitHub Actions처럼 둘 중 하나를 고르는 도구인 줄 알았다. 그런데 실습을 해 보니 둘 다 쓰는 거였다. MLflow는 실험 기록과 모델을 관리하고, KFP는 ML 작업 단계를 순서대로 실행한다. KFP는 뒤의 글에서 따로 다룬다. 이 글에서는 그중 MLflow를 다뤄 보자. 미국 성인 소득 데이터로 모델 세 개를 학습해 실험 추적(experiment tracking)으로 비교하고, 그중 하나를 모델 레지스트리(model registry)에 등록한다.1. MLflow란핵심 키워드: 실험 추적, 모델 레지스트리노트북에서 모델을 학습하면 결과는 셀 출력에 남는다. 모델이 하나면 괜찮지만, 이번 실습처럼 세 ..

이번 글에서 다룰 MLOps 라이프사이클은 앞으로 할 실습 내내 계속 나오는 흐름이다. 그래서 이 흐름에 나오는 개념들은 제대로 이해하고 넘어가야 한다. 단계마다 하나씩 꼼꼼히 짚어 나가 보자.1. MLOps 라이프사이클ML 프로젝트는 문제를 정하고, 데이터를 모아 분석하고, 모델을 학습시켜 평가한 뒤, 배포해서 지켜보는 순서로 돈다. 이 흐름을 MLOps 라이프사이클(수명주기)이라고 부른다. 크게 모델을 만드는 실험 단계(문제 정의부터 모델 평가까지)와, 만든 모델을 서비스에 올려 지켜보는 운영 단계(배포와 모니터링)로 나뉜다.예시: 신분증 종류를 알아보는 모델 이 글에서는 신분증 사진을 보고 주민등록증, 운전면허증, 여권 중 무엇인지 알아보는 모델을 예로 든다. 스터디 실습에서도 신분증을 다룬다. M..

CloudNet@ 가시다님의 MLOps 스터디에서 「머신러닝 플랫폼 엔지니어링」을 공부하며 정리한 글이다.들어가며요즘은 업무 대부분을 AI와 함께 한다. 코드를 짜고 문서를 쓰고 장애 원인을 찾을 때도 AI에게 먼저 물어본다. 내가 하던 일 중 일부는 이미 AI가 대신하고 있고, 앞으로는 일상에서도 업무에서도 AI와 떼려야 뗄 수 없을 것 같다. 그러다 보니 AI를 더 잘 쓰려면 모델이 안에서 어떻게 만들어지고 운영되는지도 알아야겠다는 생각이 들었다. 모델을 만들고 운영하는 과정을 다루는 분야가 MLOps다. 찾아보니 DevOps와 생각보다 가깝다. 자동화, CI/CD, 모니터링 같은 DevOps의 방식을 ML에 가져온 것이고, 이 스터디에서 쓰는 ML 도구도 대부분 Kubernetes 위에서 돌린다. ..

1. EKS Auto Mode란EKS Auto Mode는 컨트롤 플레인뿐 아니라 데이터 플레인까지 AWS가 관리하는 EKS 운영 모드다. 2024년 12월 1일 re:Invent 2024에서 GA로 발표됐고, 쿠버네티스 1.29 이상 클러스터에서 쓸 수 있다. EKS를 운영해 본 사람이라면 "컨트롤 플레인만 매니지드"라는 표현이 충분하지 않다고 느낀 경험이 있을 것이다. 컨트롤 플레인 아래에는 운영자가 직접 챙겨야 할 영역이 두텁게 쌓여 있다. 노드 그룹 운영, OS 패치, Karpenter Helm 차트 관리, VPC CNI와 CoreDNS와 EBS CSI 데몬셋, AWS Load Balancer Controller 설치와 IRSA 매핑, 보안 패치 주기마다의 노드 교체 같은 일이다. Auto Mode..