퍼블릭 클라우드를 사용하면, 실제 물리 서버를 어떤 Region 과 Zone(Availability Zone) 의 것을 사용할지 결정하게 된다. Region 은 Zone 을 묶는 상위 개념이며, Region 과 Region 사이에는 도시나 국가 만큼의 큰 거리 차이가 존재한다. Zone 은 하나의 Region 안에 여러개 존재할 수 있으며, 흔히 생각하는 데이터센터라고 생각하면 좋다.

  • Region: ap-northeast-2 (서울)
    • Zone: ap-northeast-2a (데이터센터 a)
    • Zone: ap-northeast-2b (데이터센터 b)
    • Zone: ap-northeast-2c (데이터센터 c)

아래는 Region 과 Zone 의 차이를 비교한 표이다.

규모 도시/국가 단위 데이터센터 단위
물리적 거리 수십~수백 km 수백 m ~ 수 km
네트워크 레이턴시 높음 (10~200ms) 매우 낮음 (1~2ms)
장애 범위 전체 Region 장애 가능 Zone 단위 장애
비용 Region 간 트래픽 비쌈 Zone 간 트래픽 저렴 또는 무료
목적 DR(재해복구), 글로벌 배포 고가용성, 고성능 서비스

 

레이턴시를 고려하였을 때, 최대한 같은 zone 에 존재하는 node 의 pod 로 요청을 보내는 것이 유리하다. 이러한 설정을 하는 것을 Topology Aware Hint 라고 한다.

 

1. Topology Aware Hint 의 기능

같은 zone/region 으로 요청을 보내도록 우선순위를 설정할 수 있다. 기본 설정은 같은 zone 우선이다. 같은 node 로 우선순위를 설정할 수는 없다. 같은 node 단위에서 라우팅 하도록 하려면 클러스터 외부 트래픽에 대해 노드에서의 로드 밸런싱 제외 을 참고하자.(단 외부 요청에 한함)

 

2. 설정방법

Topology Aware Hint 는 Service 에 직접 설정하는 것이 아니라, EndpointSlice 컨트롤러가 node 의 zone/region 라벨을 보고 EndpointSlice에 hint를 자동으로 생성해준다.(hints.forZones) 각 노드에 존재하는 kube-proxy 는이 힌트를 읽고, client 노드와 같은 zone 의 Endpoints 를 우선으로 라우팅해준다.

실제로 사람이 설정해주어야 하는 것은 node 별로 label 을 붙여주는 것이다. 즉, 라벨만 붙여주면 클라이언트 node 와 동일한 zone/region 의 파드가 우선적으로 선택되게 된다. 참고로, 퍼블릭 클라우드를 사용하면 기본적으로 zone/region 라벨이 붙게 된다.

  • topology.kubernetes.io/region
  • topology.kubernetes.io/zone
$ kubectl label nodes node1 topology.kubernetes.io/region=ap-northeast-2
$ kubectl label nodes node1 topology.kubernetes.io/zone=ap-northeast-2-a

topology.kubernetes.io/region: ap-northeast-2
topology.kubernetes.io/zone: ap-northeast-2-a

 

3. 확인방법

아래의 커맨드로 EndpointSlice 를 조회해보면 fotZones 힌트가 생성된 것을 볼 수 있다.

$ kubectl get endpointslice -l kubernetes.io/service-name={ClusterIP 서비스명} -o yaml
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
  name: sample-svc-abc12
addressType: IPv4
endpoints:
  - addresses:
      - 10.244.1.15
    zone: zone-a
    hints:
      forZones:
        - name: zone-a
  - addresses:
      - 10.244.2.19
    zone: zone-b
    hints:
      forZones:
        - name: zone-b
ports:
  - port: 80

 

https://kubernetes.io/ko/docs/concepts/services-networking/topology-aware-hints/ 참고

블로그 이미지

망원동똑똑이

프로그래밍 지식을 자유롭게 모아두는 곳입니다.

,

NodePort 나 LoadBalancer 서비스에서는 외부 트래픽이 노드로 도착하면, 노드에서 쿠버네티스 클러스터 내의 적절한 파드로 로드밸런싱을 해준다. 즉, 트래픽을 받은 노드에 속한 파드로 전송되는 것이 보장되지 않는 것이다. 만약 LoadBalancer 서비스에서 외부 로드밸러서가 1차적으로 각 노드로 로드 밸런싱 중이라면, 노드에서 불필요한 2차 로드밸런싱이 이루어지는 형태가 된다.(NAT 가 발생해 발신측 IP 주소가 유실되는 문제도 있다.)

일반적인 파드의 경우는 각 노드에 1개 이상이 존재하는 것을 보장하지는 않기 때문에, 이러한 노드에서 파드로의 로드 밸런싱이 필요하다. 하지만, 데몬셋 같이 하나의 노드에 하나의 파드가 보장되는 경우에는 굳이 다른 노드의 파드로 로드 밸런싱 할 필요가 없어진다. 그런 경우에는 spec.externalTrafficPolicy 항목을 사용하여 외부 트래픽을 노드 내에서만 처리할지를 설정할 수 있다.

 

1. 노드 내에서만 로드 밸런싱 하도록 설정

아래의 매니페스트와 같이 spec.externalTrafficPolicy: Local 으로 생성한다. 외부로부터의 트래픽을 어떻게 로드밸런싱 할지에 대한 정책이기 때문에 당연히 NodePort, LoadBalancer 서비스에서 사용 가능하다.(ClusterIP 는 내부 트래픽이기 때문에 설정 불가능)

apiVersion: v1
kind: Service
metadata:
  name: nodeport-local
spec:
  type: NodePort
  externalTrafficPolicy: Local
  ports:
    - name: "http-port"
      protocol: "TCP"
      port: 8080
      targetPort: 80
      nodePort: 30081
  selector:
    app: sample-app
spec.externalTrafficPolicy 설정값 설명
Cluster 노드에 도착한 트래픽을 클러스터 내에 존재하는 다른 노드에 속한 파드까지 대상으로 하여 다시 로드밸런싱한다.(기본값)
Local 노드에 도착한 트래픽을 해당 노드 내의 파드 대상으로만 로드밸런싱한다.

 

이제 아래 커맨드로 파드가 1개 존재하는 desktop-worker 노드를 호출하면, 여러번 호출해도 동일한 파드로 요청이 가는 것을 볼 수 있다. client IP 주소도 유지된다.

# 서비스 IP, Port 확인
$ kubectl get svc nodeport-local
NAME                    TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
sample-nodeport-local   NodePort   10.96.25.136   <none>        8080:30081/TCP   76m

# 파드 확인
$ kubectl get pods -o custom-columns="NAME:{metadata.name},Node:{spec.nodeName},NodeIP:{status.hostIP}"
NAME                                 Node              NodeIP
sample-deployment-75c768d5fb-2lkwp   desktop-worker2   172.18.0.3
sample-deployment-75c768d5fb-9qdjm   desktop-worker    172.18.0.4
sample-deployment-75c768d5fb-g5vkv   desktop-worker2   172.18.0.3

# 아래 커맨드를 여러번 실행해본다.
$ curl -s http://172.18.0.4:30081

 

2. LoadBalancer 에서 노드 health check 하기

NodePort 서비스에서 spec.externalTrafficPolicy: Local 로 지정한 경우, 노드 내에 대상 파드가 하나도 없는 경우에는 TCP 수준의 Connection refused 에러가 발생한다. 목적지 포트를 Listen 하는 프로세스(파드)가 아예 없기 때문이다. 반면에 LoadBalancer 서비스에서는 spec.externalTrafficPolicy: Local, spec.healthCheckNodePort 를 지정하여(미지정시 랜덤 포트가 자동 지정됨) 외부 로드 밸런서가 해당 노드가 타겟 파드를 가지고 있는지 확인할 수 있게 한다.(헬스 체크) 해당 노드에 파드가 존재하지 않으면 http status 503 이 반환되고, 로드 밸런싱 대상에서 제외된다.

아래와 같은 매니페스트로 LoadBalancer 에 헬스 체크용 노드포트를 지정한다.(30086)

apiVersion: v1
kind: Service
metadata:
  name: lb-local
spec:
  type: LoadBalancer
  externalTrafficPolicy: Local
  healthCheckNodePort: 30086
  ports:
    - name: "http-port"
      protocol: "TCP"
      port: 8080
      targetPort: 80
      nodePort: 30085
  selector:
    app: sample-app

 

spec.healthCheckNodePort 는 LoadBalancer 서비스 이면서 spec.externalTrafficPolicy: Local 인 경우만 지정할 수 있는 항목이다. 아래는 헬스 체크 엔드포인트가 응답하는 예시이다.

$ curl -s http://172.18.0.4:30086
{
  "service": {
    "namespace": "default",
    "name": "lb-local"
  },
  "localEndpoints": 1
}

 

블로그 이미지

망원동똑똑이

프로그래밍 지식을 자유롭게 모아두는 곳입니다.

,

세션 어피니티란, 한번 연결된 타겟 파드로 다음번에도 연결되도록 하는 것이다. 즉, ClusterIP 서비스에 세션 어피니티를 적용한 경우(즉, 내부 네트워크에 적용), 파드끼리 통신할 때 한번 연결된 파드에 다음번 통신때도 연결된다.

 

1. 세션 어피니티 설정

아래와 같이 spec.sessionAffinity 항목과 spec.sessionAffinityConfig 항목을 설정한다.

spec.sessionAffinity: ClientIP 는 요청을 보낸 측을 식별할 때 client IP 주소로 식별하겠다는 것이고, spec.sessionAffinityConfig 의 설정은 세션 고정 시간을 의미한다.

apiVersion: v1
kind: Service
metadata:
  name: session-affinity
spec:
  type: LoadBalancer
  selector:
    app: sample-app
  ports:
  - name: http-port
    protocol: TCP
    port: 8080
    targetPort: 80
    nodePort: 30084
  sessionAffinity: ClientIP
  sessionAffinityConfig:
    clientIP:
      timeoutSeconds: 10

 

sessionAffinityConfig.clientIP.timeoutSeconds: 10 을 설정했으므로, 요청 후 10초 이내의 요청은 같은 파드로 전송된다.

$ kubectl get pods
NAME                                 READY   STATUS    RESTARTS   AGE
sample-deployment-75c768d5fb-2lkwp   1/1     Running   0          33d
sample-deployment-75c768d5fb-9qdjm   1/1     Running   0          33d
sample-deployment-75c768d5fb-g5vkv   1/1     Running   0          33d

# 첫 요청
$ kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://session-affinity.default.svc.cluster.local:8080
Host=session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-g5vkv  ClientIP=10.244.2.118  XFF=

# 첫 요청으로부터 10초 이내에 요청
$ kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://session-affinity.default.svc.cluster.local:8080
Host=session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-g5vkv  ClientIP=10.244.2.118  XFF=

# 두번째 요청으로부터 10초 이내에 요청
$ kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://session-affinity.default.svc.cluster.local:8080
Host=session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-g5vkv  ClientIP=10.244.2.118  XFF=

# 세번째 요청으로부터 10초 초과한 후 요청
# 다른 파드로 연결됨
$ kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://session-affinity.default.svc.cluster.local:8080
Host=session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-9qdjm  ClientIP=10.244.2.118  XFF=

 

spec.sessionAffinity: None 으로 수정한 후 동일한 테스트를 진행해보면, 10초 이내에 재요청 하더라도 다른 파드에 전송되는 것을 볼 수 있다.

# 첫번째 요청
$ kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://no-session-affinity.default.svc.cluster.local:8080
Host=no-session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-g5vkv  ClientIP=10.244.2.118  XFF=

# 첫번째 요청 후 10초 이내 두번째 요청 => 다른 파드로 전송됨
$ kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://no-session-affinity.default.svc.cluster.local:8080
Host=no-session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-9qdjm  ClientIP=10.244.2.118  XFF=

# 두번째 요청 후 10초 이내 세번째 요청 => 다른 파드로 전송됨
$ kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://no-session-affinity.default.svc.cluster.local:8080
Host=no-session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-g5vkv  ClientIP=10.244.2.118  XFF=

# 세번째 요청 후 10초 이내 네번째 요청 => 다른 파드로 전송됨
kubectl exec -it sample-deployment-75c768d5fb-2lkwp -- curl http://no-session-affinity.default.svc.cluster.local:8080
Host=no-session-affinity.default.svc.cluster.local  Path=/  From=sample-deployment-75c768d5fb-2lkwp  ClientIP=10.244.2.1  XFF=

 

위의 예제에서는 LoadBalancer 서비스를 생성할 때 생성된 ClusterIP 를 통해 1개의 노드 내에서 세션 어피니티가 적용되는 모습을 보았다. 그런데, 세션 어피니티는 실제로는 각 쿠버네티스 노드에 iptables 로 구현되어 있다. 따라서 NodePort 서비스에 세션 어피니티를 지정하면 동일한 client 의 재요청이라 하더라도 어느 노드에서 수신하느냐에 따라 다른 파드로 연결될 수 있음에 유의하자.(즉, 세션 어피니티는 노드 단위에서 작동한다.)

블로그 이미지

망원동똑똑이

프로그래밍 지식을 자유롭게 모아두는 곳입니다.

,

LoadBalancer 서비스는 클러스터 외부에 L4 로드밸런서를 따로 두고, Kubernetes 에서 이 로드밸런서를 연동하여 사용하는 것이다. Amazon EKS, GKE, AKS 등의 퍼블릭 클라우드 프로바이더가 제공하는 AWS EKS, GKE 등의 플랫폼에서는 AWS NLB, GCP LB, Azure LB 등의 L4 로드 밸런서와의 연동을 기본 제공한다.(베어메탈 LoadBalancer 구현체인 MetalLB 등으로 온프레미스에서도 사용 가능함) 예를 들어, GKE 에서 LoadBalancer 서비스를 생성하면 GCP LB(Google Cloud Platform Load Balancer)가 자동 생성되고, 여기에 가상 IP가 할당되며, 쿠버네티스 클러스터 내의 노드들과 연결된다.

 

NodePort 나 ClusterIP - ExternalIPs 를 사용하면 진입점이 특정 노드가 되기 때문에, 해당 노드 장애시에는 서비스가 불가능해진다. 하지만 LoadBalancer 서비스를 사용하면 별도의 외부 로드밸런서가 진입점이 되기 때문에 안정성이 제고된다. 외부 로드 밸런서가 쿠버네티스 클러스터의 NodePort 서비스를 통해 여러 노드에 걸쳐 로드밸런싱을 하는 구조이다.

LoadBalancer 서비스를 생성하면, 내부적으로는 외부 로드밸런서에서 각 노드로 들어오는 트래픽을 수신하기 위해 NodePort 가 생성되고, 목적지 파드로 트래픽을 전송하기 위해 ClusterIP 도 생성된다.(실제 서비스 리소스가 생성되는 것은 아니고, NAT 규칙이 설정되는 개념)

 

1. LoadBalancer 생성

아래와 같은 매니페스트로 생성한다.

apiVersion: v1
kind: Service
metadata:
  name: sample-lb
spec:
  type: LoadBalancer
  ports:
    - name: "http-port"
      protocol: "TCP"
      port: 8080
      targetPort: 80
      nodePort: 30082
  selector:
    app: sample-app

 

spec.ports[] 하위에 지정하는 포트 번호들은 아래와 같은 의미를 가진다.

항목 의미
spec.ports[].nodePort 모든 노드 IP에서 수신할 Port 번호
spec.ports[].port LoadBalancer 에 할당된 가상 IP 와 ClusterIP 에서 수신할 Port 번호
spec.ports[].targetPort 목적지 파드(컨테이너) 포트 번호

 

각각의 포트가 사용되는 구간을 그림으로 보면 아래와 같다.

 

생성 후에 아래 커맨드로 조회가 가능하다.

$ kubectl get services
NAME              TYPE           CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
sample-lb         LoadBalancer   10.96.78.27   172.18.0.7    8080:30082/TCP   13m

 

sample-lb 서비스 이름으로 클러스터 내부에서 통신시 자동으로 설정된 ClusterIP 에서 DNS 해석을 진행하는 것을 볼 수 있다.

$ kubectl run --image=amsy810/tools:v2.0 --restart=Never --rm -i testpod --command -
- dig sample-lb.default.svc.cluster.local
...
;; QUESTION SECTION:
;sample-lb.default.svc.cluster.local. IN	A

;; ANSWER SECTION:
sample-lb.default.svc.cluster.local. 30	IN A	10.96.78.27
...
pod "testpod" deleted

 

2. 로드 밸런서 가상 IP 정적 지정 방법

실제 운영 서비스에서는 서비스의 엔드포인트가 되는 로드 밸런서의 주소를 IP 가 아닌 의미있는 도메인을 할당해서 사용하기 때문에 DNS 설정 등을 위해 고정 IP 를 할당하는 경우가 많다. 이때는 spec.loadBalancerIP 항목에 예약한 IP 주소를 입력한다.

apiVersion: v1
kind: Service
metadata:
  name: sample-lb
spec:
  type: LoadBalancer
  loadBalancerIP: xxx.xxx.xxx.xxx # 여기에 로드 밸런서의 IP로 사용할 주소를 입력
  ports:
    - name: "http-port"
      protocol: "TCP"
      port: 8080
      targetPort: 80
  selector:
    app: sample-app

 

3. 로드 밸런서 방화벽 정책 설정

LoadBalancer 서비스를 생성하여 로드 밸런서를 사용하면 기본적으로 전세계에서 접속할 수 있는 상태가 된다. AWS EKS 나 GKE 에서는 spec.loadBalancerSourceRanges 에 접속을 허가할 IP 범위를 지정하면, 클라우드 프로바이더가 제공하는 방화벽 기능을 사용하여 접속을 제한할 수 있다. 기본값이 0.0.0.0/0 이기 때문에 제한이 없는 상태이다.

spec:
...
  loadBalancerSourceRanges:
  - 10.0.0.0/8
...

 

클라우드 프로바이더가 제공하는 방화벽이 없는 경우에 이 설정을 적용하면 쿠버네티스 노드의 iptables 를 사용하여 접속 제한이 이루어진다.

블로그 이미지

망원동똑똑이

프로그래밍 지식을 자유롭게 모아두는 곳입니다.

,

ClusterIP - ExternalIPs 서비스는 "지정한 노드"에서 수신한 트래픽만 특정 파드로 연결해준다고 하였다. NodePort 서비스는 약간 다르게, "전체 노드"에서 수신한 트래픽을 특정 파드로 연결해준다.

NodePort 서비스를 생성하면 내부적으로는 파드 네트워크에서 목적지 파드로 트래픽을 전달하는 ClusterIP 가 생성되며(실제 서비스가 생성되는 것은 아니고, NAT 규칙이 생성되는 개념임), kube-proxy 가 관리하는 NAT 규칙에 ClusterIP 를 거치도록 명시된다.

NodePort → ClusterIP → Pod

 

NodePort 생성시 아래와 같은 개념으로 clusterIP 속성이 지정된다.

Service A (type=NodePort)
    └─ spec.clusterIP: 10.x.x.x (자동 생성)

 

NodePort 는 지정한 포트를 Listen 하고있으며, 외부에서 Node 의 해당 포트로 접속하면 NodePort 가 트래픽을 ClusterIP 로 전달해주는 형태로 작동한다. ClusterIP 서비스가 받은 트래픽을 어떻게 목적지 파드로 분배하는지는 ClusterIP 서비스 에서 설명하였다.

 

1. 생성하기

아래 매니페스트로 NodePort 서비스를 생성한다.

apiVersion: v1
kind: Service
metadata:
  name: sample-nodeport
spec:
  type: NodePort
  ports:
    - name: "http-port"
      protocol: "TCP"
      port: 8080
      targetPort: 80
      nodePort: 30080
  selector:
    app: sample-app

 

spec.ports[] 의 각 항목은 아래와 같은 의미를 가진다.

항목 의미
spec.ports[].nodePort 모든 노드 IP에서 수신할 Port 번호
spec.ports[].port ClusterIP 에서 수신할 Port 번호
spec.ports[].targetPort 목적지 파드(컨테이너) 포트 번호

 

그림으로 보면 아래와 같은 구역에서 수신하는 포트이다.

 

아래 커맨드로 생성된 NodePort 서비스를 조회한다. CLUSTER-IP 가 자동으로 할당되는 것을 알 수 있다.

NAME              TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
sample-nodeport   NodePort    10.96.41.17   <none>        8080:30080/TCP   50m

 

실제 클러스터 내부의 파드에서 ClusterIP 가 서비스 디스커버리를 수행하는지 보려면 아래 커맨드를 실행한다.

# 클러스터 내부 DNS에서 sample-nodeport 라는 서비스 이름을 해석할 때 ClusterIP 의 주소(즉, 10.96.41.17)로 해석되는 것을 볼 수 있다.
$ kubectl run --image=amsy810/tools:v2.0 --restart=Never --rm -i testpod --command -
- dig sample-nodeport.default.svc.cluster.local
...
;; QUESTION SECTION:
;sample-nodeport.default.svc.cluster.local. IN A

;; ANSWER SECTION:
sample-nodeport.default.svc.cluster.local. 30 IN A 10.96.41.17
...
pod "testpod" deleted

 

2. nodePort 지정시 유의할 점

spec.ports[].nodePort 로 NodePort 서비스가 수신할 포트를 지정한다고 했는데, 대부분의 쿠버네티스 환경에서는 기본적으로 30000~32767 범위의 값을 허용한다. nodePort 를 직접 지정하지 않으면 자동으로 할당되는 값도 이 범위 안에서 결정된다.

범위를 벗어난 nodePort 를 지정하면 아래와 같은 에러가 출력된다.

The Service "sample-nodeport" is invalid: spec.ports[0].nodePort: Invalid value: 8888: provided port is not in the valid range. The range of valid ports is 30000-32767

 

또한, 모든 node 에서 Listen 할 포트를 지정하는 것이기 때문에, 이미 사용중인 포트를 지정하는 것도 불가능하다. 이미 다른 NodePort 서비스가 사용중인 포트를 사용하려고 할 때는 아래와 같은 에러가 출력된다.

The Service "sample-nodeport" is invalid: spec.ports[0].nodePort: Invalid value: 30080: provided port is already allocated

 

블로그 이미지

망원동똑똑이

프로그래밍 지식을 자유롭게 모아두는 곳입니다.

,