Harbor Replications을 활용하여 이미지 레지스트리 간 미러링하기

개요 

Harbor는 오픈소스 이미지 레지스트리로 쿠버네티스와 같은 컨테이너 환경에서 중요한 인프라이니 만큼 가용성이 중요하다.

고객의 Harbor의 가용성 요구사항을 위해 아래 두 가지 방법을 고려하였다.

  1. 고가용성(HA) 구성

  2. 예비(DR) 하버 구성

 

첫 번째 방법은 Harbor의 HA(고가용성)을 구성하는 것이다.

Harbor는  컨테이너 형태의 docker-compose, Helm chart의 두 가지  설치만을 지원한다. 그렇기 때문에 Harbor에서 내부에서 사용되는 nginx와 같은 stateless 한 서비스들은 레플리카 수를 늘려 쉽게 이중화가 되지만, Harbor가 사용하는 Redis와 Postgres는 HA를 자체적으로 지원하지 않기 때문에 직접 구성하여 External Database의 형태로 연결시켜주어야 한다.

Redis(Sentinel / Cluster), Postgresql(PgPool,Operator등) 등의 HA구성 방식 종류에 따라 Harbor에서 연결을 지원하는지도 따져보아야 한다.

 

두 번째 방법은 예비 Harbor를 구성하는 것이다.

Harbor의 복제(Replications) 기능을 활용해서 레지스트리 간 이미지를 미러링한다. 그리고 앞단에 로드벨런서나 Proxy Cache 기능을 이용하여 고가용성을 확보하는 것이다. Harbor 외에도 ECR, GCR, Docker hub 등 다른 이미지 레지스트리에도 복제할 수 있다.

 

고객은 Redis나 Postgresql 등의 추가적인 구성의 복잡함과 운영의 어려움으로 인해 두 번째 방법을 채택하기로 했다.

 

Harbor Registries(레지스트리) 등록

먼저 Harbor에서 복제할 레지스트리를 등록해주어야 한다.

Administration > Regstries 메뉴로 들어가 New ENDPOINT를 누른다.

Harbor Registries

 

아래 필드 값들을 입력하고 TEST CONNECTION을 누른다.

 

• Provider: 이미지 레지스트리 프로바이더
  
  • ECR, GCR, DockerHub 등 수많은 도커 이미지 레지스트리를 지원한다.
• Name: 등록할 레지스트리 이름
• Description: 설명
• Endpoint URL: 연결할 레지스트리 엔드포인트
  • Coneection이 잘 되지 않는다면, Harbor core라는 컨테이너에서 연결할 레지스트리 간 통신이 잘 되어야 하기 때문에,  네트워크나 DNS 설정을 잘 살펴보자.
  • AccessID: 연결할 레지스트리 계정 아이디
• AccessSecret:  연결할 레지스트리 계정 비밀번호
• Verifty Remote Cert: SSL 인증서 여부 

Harbor Registries 등록하기

이미지가 Health 상태로 잘 등록되었는지 확인하자

Harbor Registries 목록

 

Harbor Replications(복제) 등록 

Harbor Replications(복제) 기능에는 두 가지 모드가 있고, 모드에 따라 trigger 모드를 지원한다.

• Push-Based: 등록한 레지스트리에 이미지를 보내는 방식이다. ( Harbor -> 등록 레지스트리 ) 
  •  Event Based
    • 이벤트 기반의 방식으로 Harbor에 이미지를 푸시할 경우 복제가 발생하는 것이다.
• Pull-Based: 등록한 레지스트리로부터 이미지를 가져오는 방식이다. ( Harbor <- 등록 레지스트리 ) 
  • Manual
    •  수동으로 복제하는 방식으로 Harbor의 UI 상에서 Replciation 버튼을 눌러 복제한다.
  • Scheduled
    • 크론탭 기반의 문자열을 기반으로 예약한 시간에 복제가 발생하는 방식이다.

Event Based 

Administartor > Replications 메뉴로 들어가 New Replication Rule을 생성한다.

주요 필드는 다음과 같다. 

• Name: 생성할 복제룰의 이름 
• Replication mode: 복제 모드 
• Source resource filter: 복제할 이미지 필터링 조건 
• Destination: 복제할 대상 이미지 레지스트리 
• Trigger Mode: 복제가 발생하는 트리거 모드

Harbor Replication Rule 생성

Harbor Replication Rule 목록

Docker 명령어를 통해 Source Harbor에 이미지를 푸시해 보고 Target 레지스트리에 이미지가 잘 복제되는지 확인한다.

복제가 잘되었는지 Executions 메뉴를 통해 실행 로그를 확인할 수 있다.

event-based 경우 Source Harbor로 이미지를 푸시할 경우 복제가 발생하며, 푸시한 이미지만 복제가 된다.

harbor repliation(event-based) 실습

Harbor Replication 실행 로그

Manual

Munual 방식은 직접 Web UI에서 Replication 버튼을 눌러 수동으로 복제한다.

Pull-based에 체크하고 Trigger Mode를 Manual로 설정한다.

 

pull-based 방식이기 때문에 Target 이미지 레지스트리로 이미지를 푸시하고 Source Harbor로 이미지를 가져와 복제가 잘 되는지 확인한다.

push-based 방식과 달리 pull-based 방식은 Target 이미지 레지스트리로 푸시된 모든 이미지를 가져오는 것을 볼 수 있다.

Scheduled

크론 표현식을 통해 시간을 설정하면 복제를 스케줄링할 수 있다. 

테스트를 위하여 * * * * *( 매분마다)로 시간을 설정하겠다.

 

Manual 방식과 마찬가지로 설정한 시간마다 이미지가 잘 복제되는 것을 볼 수 있다.

 

결론

Harbor의 여러 복제 방식 중 용도와 목적에 맞게 잘 사용하면 좋을 것 같다.

나의 경우, 이미지가 push 될 때 동작하는 event-based 방식을 선택했다.

그리고, 이번 주제를 포스팅하면서 생각보다 Harbor의 좋은 기능들이 많다는 것을 알게 되었다.

기회가 된다면 다음에는 Trivy나 chart museum 기능도 적극적으로 활용해 보자.