들어가며앞 글에서는 미국 성인 소득 데이터로 연 소득 5만 달러 초과 여부를 예측하는 모델을 학습해 MLflow에 등록했고, 그다음 글에서는 이 모델에 넣을 입력값을 Feast에 피처로 등록했다. 이 글에서는 등록한 모델과 피처를 Kubeflow Pipelines(KFP)로 이어서, 30,162명을 한 번에 예측하는 배치 추론(batch inference, 여러 건을 한 번에 예측) 파이프라인을 구성해 보자.1. Kubeflow Pipelines란핵심 키워드: KFP, 배치 추론KFP는 ML 작업 단계를 이어 자동으로 돌리는 도구이고, Kubeflow의 구성 요소 중 하나다. 쿠버네티스에서 작업을 순서대로 Pod로 실행하는 Argo Workflows를 안에서 쓰고, 그 위에 파이프라인, 실험, 실행 기록..

들어가며모델은 학습할 때도, 예측할 때도 입력값이 있어야 돌아간다. 이 글에서는 이 입력값을 Feast로 관리하는 방법을 다뤄 보자. 미국 성인 소득 데이터로 연 소득 5만 달러 초과 여부를 예측하는 모델에 넣을 값을 등록하고, 오프라인과 온라인에서 각각 조회한다.1. 피처 스토어와 Feast란핵심 키워드: 피처, 피처 스토어, 오프라인 스토어, 온라인 스토어피처(feature)는 모델에 넣는 입력값이다. 모델에 던질 질문이라고 생각하면 쉽다. 소득을 예측하는 모델이라면 "학력이 뭐예요?", "직업이 뭐예요?" 같은 질문이다. 모델은 데이터를 들고 있지 않고 학습에서 배운 판단 요령만 갖고 있어서, 예측할 때마다 이 질문의 답을 넣어 줘야 한다. 예를 들어 사용자 9f2ac416의 입력값 중 네 개는 다..

들어가며처음에는 MLflow와 Kubeflow Pipelines(KFP)가 Jenkins와 GitHub Actions처럼 둘 중 하나를 고르는 도구인 줄 알았다. 그런데 실습을 해 보니 둘 다 쓰는 거였다. MLflow는 실험 기록과 모델을 관리하고, KFP는 ML 작업 단계를 순서대로 실행한다. KFP는 뒤의 글에서 따로 다룬다. 이 글에서는 그중 MLflow를 다뤄 보자. 미국 성인 소득 데이터로 모델 세 개를 학습해 실험 추적(experiment tracking)으로 비교하고, 그중 하나를 모델 레지스트리(model registry)에 등록한다.1. MLflow란핵심 키워드: 실험 추적, 모델 레지스트리노트북에서 모델을 학습하면 결과는 셀 출력에 남는다. 모델이 하나면 괜찮지만, 이번 실습처럼 세 ..

이번 글에서 다룰 MLOps 라이프사이클은 앞으로 할 실습 내내 계속 나오는 흐름이다. 그래서 이 흐름에 나오는 개념들은 제대로 이해하고 넘어가야 한다. 단계마다 하나씩 꼼꼼히 짚어 나가 보자.1. MLOps 라이프사이클ML 프로젝트는 문제를 정하고, 데이터를 모아 분석하고, 모델을 학습시켜 평가한 뒤, 배포해서 지켜보는 순서로 돈다. 이 흐름을 MLOps 라이프사이클(수명주기)이라고 부른다. 크게 모델을 만드는 실험 단계(문제 정의부터 모델 평가까지)와, 만든 모델을 서비스에 올려 지켜보는 운영 단계(배포와 모니터링)로 나뉜다.예시: 신분증 종류를 알아보는 모델 이 글에서는 신분증 사진을 보고 주민등록증, 운전면허증, 여권 중 무엇인지 알아보는 모델을 예로 든다. 스터디 실습에서도 신분증을 다룬다. M..

CloudNet@ 가시다님의 MLOps 스터디에서 「머신러닝 플랫폼 엔지니어링」을 공부하며 정리한 글이다.들어가며요즘은 업무 대부분을 AI와 함께 한다. 코드를 짜고 문서를 쓰고 장애 원인을 찾을 때도 AI에게 먼저 물어본다. 내가 하던 일 중 일부는 이미 AI가 대신하고 있고, 앞으로는 일상에서도 업무에서도 AI와 떼려야 뗄 수 없을 것 같다. 그러다 보니 AI를 더 잘 쓰려면 모델이 안에서 어떻게 만들어지고 운영되는지도 알아야겠다는 생각이 들었다. 모델을 만들고 운영하는 과정을 다루는 분야가 MLOps다. 찾아보니 DevOps와 생각보다 가깝다. 자동화, CI/CD, 모니터링 같은 DevOps의 방식을 ML에 가져온 것이고, 이 스터디에서 쓰는 ML 도구도 대부분 Kubernetes 위에서 돌린다. ..

1. EKS Auto Mode란EKS Auto Mode는 컨트롤 플레인뿐 아니라 데이터 플레인까지 AWS가 관리하는 EKS 운영 모드다. 2024년 12월 1일 re:Invent 2024에서 GA로 발표됐고, 쿠버네티스 1.29 이상 클러스터에서 쓸 수 있다. EKS를 운영해 본 사람이라면 "컨트롤 플레인만 매니지드"라는 표현이 충분하지 않다고 느낀 경험이 있을 것이다. 컨트롤 플레인 아래에는 운영자가 직접 챙겨야 할 영역이 두텁게 쌓여 있다. 노드 그룹 운영, OS 패치, Karpenter Helm 차트 관리, VPC CNI와 CoreDNS와 EBS CSI 데몬셋, AWS Load Balancer Controller 설치와 IRSA 매핑, 보안 패치 주기마다의 노드 교체 같은 일이다. Auto Mode..

AWS 워크샵 EKS Upgrades(catalog.workshops.aws/eks-upgrades) 환경을 제공해주셔서 그대로 따라가며 정리한다. 워크샵은 1.30 → 1.31 한 단계 인플레이스 업그레이드를 컨트롤 플레인 → 애드온 → 4가지 노드 타입 순으로 수행한다.1. 개요1.1 EKS 업그레이드의 책임 분담EKS 업그레이드에서 가장 먼저 잡고 가야 하는 개념은 공동 책임 모델이다. 컨트롤 플레인 컴포넌트(API Server · etcd · Scheduler · Controller Manager)는 AWS의 관리 VPC에서 동작하며, 그 가용성·백업·패치·고가용성 토폴로지는 모두 AWS가 보장한다. 반면 그 위에서 동작하는 데이터 플레인(워커 노드, kubelet, kube-proxy, CNI,..

1. 개요이번 AEWS4 6주차는 감사하게도, Amazon EKS 기반 확장 가능한 멀티 테넌트 SaaS 플랫폼 구축이라는 AWS 워크샵 환경을 제공해주셔서 워크샵 내용을 정리해본다.GitOps 기반으로 SaaS 플랫폼을 구축하는 워크샵이며, 기존에는 ArgoCD 도구만 사용해봤던 입장에서 이번에는 FluxCD를 다뤄본다.2. 워크샵 실습 아키텍처실습에 사용되는 대표적인 도구들이다.도구카테고리역할Giteaself-hosted GitGitOps의 단일 진실 원천(Single Source of Truth)Flux v2GitOps 컨트롤러Git → cluster reconciliation. 본 워크샵의 메인 GitOps 엔진TF-ControllerFlux 생태계 IaC 컨트롤러Terraform CRD를 K8s..