Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번 포스팅은 kubernetes hpa 에 대해서 적용했던 사례에 대해서 정리를 해보려고합니다.

이 전에 작성된 포스팅이긴 하지만, HPA의 이론에 대해서는 아래의 포스팅을 참고해주시면 됩니다.

• [DevOps] k8s Horizontal POD autoscaling

위의 내용중에서도 HPA(Horizontal Pod Autoscaler)를 실제 적용하는 계획과 실행에 대해서 정리를 해보려고합니다.

1. HPA 적용 목적 및 정책

필자가 운영하는 k8s에는 100여개 이상의 MSA 어플리케이션들이 서비스를 하고 있습니다. 모든 서비스들이 최적으로 운영된다면 좋겠지만 보통은 보수적으로 pod를 산정하고 리소스를 산정합니다. 자연스럽게 k8s의 리소스가 부족한 현상이 발생하기 시작했고 조치가 필요했습니다.

HPA의 적용 목적은 다음과 같은 내용을 기반으로 하고 있습니다.

• 성능 유지 : 트래픽이나 요청량이 증가할 떄 추가 POD를 자동으로 생성하여 처리 능력을 높입니다.
• 리소스 최적화 : 과도한 리소스 할당을 방지하고, 리소스 사용 효율성을 높입니다.
• 자동화 및 운영 효율성 증대 : 부하 발생시 수동으로 조절하던 부분을 메트릭 측정값을 기반으로 자동 조정합니다.

위의 목적에 기재 되어있듯이 리소스 최적화에도 기반을 두고 작업을 예정하게 되었습니다.

• HPA 적용 정책

  apiVersion: autoscaling/v2beta2
  
  kind: HorizontalPodAutoscalermetadata:
    name: hpa-test
    namespace: dosi-store
  spec:
    scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: {{ .Values.phase }}-test-api
    minReplicas: 6
    maxReplicas: 18 <- 기존대비 3배수로 설정
    behavior:
       scaleDown:
           stabilizationWindowSeconds: 300
           policies:
          - type: Pods
            value: 2
            periodSeconds: 10
       scaleUp:
          stabilizationWindowSeconds: 30
          policies:
          - type: Percent
            value: 50
            periodSeconds: 10
          - type: Pods
            value: 4
            periodSeconds: 10
         selectPolicy: Max
    metrics:
         - type: Resource
           resource:
              name: cpu
              target:
                 type: Utilization
                 averageUtilization: 70
  

  • minReplicas : 현재의 pod 갯수
  • maxReplicas : 최대 증설의 pod 갯수 ( 6 * 3 = 18개로 기준을 잡음 )
  • scaleDown
    • 10초당 2개의 pod를 감소
    • 정책 적용 결정이 수행되면 5분간의 유예기간으로 메트릭을 지속 탐지함.
    • 스케일 다운이 바로 일어나면 서비스에 문제가 발생할 수 있을것이라 판단하여 5분간 유예설정.
  • scaleUp
    • 10초당 현재 갯수의 50% (ex, 현재가 6개면, 3개로 계산 ) / 15초당 4개의 pod를 증가 중 더 큰 범주 선택
    • 정책 적용 결정이 수행되면 30초간의 유예기간으로 메트릭을 지속 탐지함.
    • 스케일 다운이 바로 일어나면 서비스에 문제가 발생할 수 있을것이라 판단하여 30초간 유예설정.
  • 평균 CPU 사용률 70%를 임계점으로 설정.

2. HPA 적용 계획

HPA를 적용함에 있어서 기존의 수집된 Metric을 한달 기준으로 분석을 실시했습니다. 적용 대상이 되는 어플리케이션 선정은 다음을 기준으로 선정했습니다.

• HPA 적용 기준
  • 트래픽이 제일 많은 어플리케이션
  • 트래픽 대비 과도하게 스케일 아웃되어있는 어플리케이션
  • 현재 CPU Usage가 스케일 대비 과도하게 낮은 어플리케이션

트래픽이 많으면서(변동량이 크면서), 서버 수량은 많고 리소스는 최소로 사용하는(오버 스펙)이 되어있는 어플리케이션들의 정보를 수집했습니다.

위의 표와 같이 기록을 수행하여 기존의 CPU 트렌드 기반으로 목표 지점은 CPU Usage를 20 ~ 30% 를 사용하는것을 목표료 하여 Target Replicas를 지정하고 축소 계획을 세웠습니다.

계획은 다음 순서로 진행을 하고자 했습니다.

• 1) HPA 설정 배포 ( 설정은 현재의 서비스에 영향을 미치지 않음. )

• 2) pod수를 스케일 다운. ( 다운시 CPU Usage 기록 )
  • CPU Usage의 안정 범위 : 평시에 20-30% 정도 사용.
• 3) 적용이후에는 위의 정책을 기준으로 필요한 어플리케이션에 확장.

3. HPA 적용 테스트

사전에 HPA를 적용하기 이전에 테스트를 진행했습니다. API 1개에 부하를 쏟아서 CPU 임계점을 넘어가도록 설정했습니다.

NAME               REFERENCE                TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         2          11m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         2          11m   ← 부하 테스트 시작
alpha-test-app   Deployment/alpha-test-app   111%/70%   2         6         2          12m   ← 임계치 상향 
alpha-test-app   Deployment/alpha-test-app   111%/70%   2         6         4          12m   ← Upscale (30초 유예)
alpha-test-app   Deployment/alpha-test-app   45%/70%    2         6         4          13m   ← 임계치 하향 
alpha-test-app   Deployment/alpha-test-app   2%/70%     2         6         4          14m 
alpha-test-app   Deployment/alpha-test-app   2%/70%     2         6         4          15m
alpha-test-app   Deployment/alpha-test-app   2%/70%     2         6         4          16m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         4          17m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         4          18m   ← DownScale (300초 유예)
alpha-test-app   Deployment/alpha-test-app   4%/70%     2         6         2          18m
alpha-test-app   Deployment/alpha-test-app   4%/70%     2         6         2          19m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         2          20m

• Upscale 적용 후

  

• Downscale 적용 후

  

정확하게 HPA 동작에 의해 Upscale을 수행했다가 부하가 사라지면 정상화 됩니다.

• 이슈 사항

  테스트를 진행하면서 이슈를 한가지 확인했는데요. 배포를 하게 되면 새로운 어플리케이션으로부터 Metric이 즉각 수집이 되지 않으면서 Degraded상태가 되는것을 확인했습니다. 따라서 Metric이 수집되지 않은 상태라면 Progressing상태로 마킹하는 내용이 필요했습니다.

  

  • Resolve Ref : https://argo-cd.readthedocs.io/en/stable/operator-manual/health/#custom-health-checks

  data:
    resource.customizations: |
      cert-manager.io/Certificate:
        health.lua: |
          hs = {}
          if obj.status ~= nil then
            if obj.status.conditions ~= nil then
              for i, condition in ipairs(obj.status.conditions) do
                if condition.type == "Ready" and condition.status == "False" then
                  hs.status = "Degraded"
                  hs.message = condition.message
                  return hs
                end
                if condition.type == "Ready" and condition.status == "True" then
                  hs.status = "Healthy"
                  hs.message = condition.message
                  return hs
                end
              end
            end
          end
  
          hs.status = "Progressing"
          hs.message = "Waiting for certificate"
          return hs
  

4. HPA 적용 효과 및 사례

실제로 적용을 하고 나서는 다음의 수준으로 리소스 최적화를 할 수 있었습니다.

• Previous Resources
  

• Current Resources

  

CPU는 약 2%, Memory는 6.1% 가량을 최적화 했습니다. 물론 100개중에 약 5개 정도만 선제적으로 적용을 한것이라 큰 효과는 없다고 생각할 수 있습니다. 하지만 이를 통해서 HPA의 장점을 취득하고 리소스를 최적화를 할 수 있다는 것을 배울 수 있었습니다.

5. 마치며..

HPA를 통해서 좀더 유연한 인프라를 제공할 수 있다는 것을 알게 됐습니다. 실제로 운영하면서 여러 차례 트래픽 스파이크시에 동작하는 것을 보고서 그 효과를 체험할 수 있었습니다. k8s를 통해서 셀프 힐링, 배포 자동화 등등의 큰 장점도 있지만 트래픽에 유연하게 대응할 수 있는 인프라를 제공하는 측면도 굉장히 효과적이라고 생각합니다.

포스팅을 마치도록 하겠습니다. 감사합니다.

The post [DevOps] Kubernetes HPA 실전 적용 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. Kubernetes NetworkPolicy란 무엇인가요?

2. Kubernetes 어플리케이션 요구사항

• 외부의 사용자는 API-GW로부터만 접근이 가능하고 직접 API혹은 INTERAL-API를 호출할수는 없다.
• Kubernetes Cluster내에서 다른 팀의 다른 어플리케이션이 직접적으로 API혹은 INTERAL-API를 호출할수는 없다.
• 어플리케이션에 Inbound 트래픽 허용 설정이 필요하다.

• API Server는 API Gatewa에서 들어오는 inbound 트래픽을 허용합니다.
• Internal API Server는 API Server & Internal API Gateway에서 들어오는 inbound 트래픽을 허용합니다.

3. Network Policy 설정

Ingress

• Pod Selector : 특정 레이블 셀렉터를 사용하여 트래픽의 송신자 또는 수신자 파드를 선택합니다.
• Namespace Selector : 특정 네임스페이스에서 트래픽을 허용 또는 거부할 수 있습니다.
• IP Block : CIDR IP 대역으로, 특정 IP 대역에서만 트래픽이 들어오도록 지정할 수 있습니다.
• Port : 포트 기반으로 트래픽을 제어합니다.
• Protocol : TCP, UDP 등의 트래픽 프로토콜을 지정합니다.

Egress

• IP Block : CIDR IP 대역으로, 특정 IP 대역에서만 트래픽이 나가도록 지정할 수 있습니다.
• Port : 포트 기반으로 트래픽을 제어합니다.
• Protocol : TCP, UDP 등의 트래픽 프로토콜을 지정합니다.

Helm Chart 구성

• api-server helm chart

├── alpha-values.yaml
├── beta-values.yaml
├── Chart.yaml
├── prod-values.yaml
└── templates
    ├── deployment.yaml
    ├── networkpolicy.yaml   --> 신규 추가
    └── service.yaml

• alpha-values.yaml

....
networkPolicies:
  - allowlist:
      - api-gateway

• networkpolicy.yaml

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: {{ .Values.phase }}-{{ .Values.projectName }}
  namespace: {{ .Values.namespace }}
  labels:
    link.service.phase: {{ .Values.phase }}
    link.service.name: {{ .Values.namespace }}
    link.project.name: {{ .Values.projectName }}
spec:
  podSelector:
    matchLabels:
      link.service.phase: {{ .Values.phase }}
      link.service.name: {{ .Values.namespace }}
      link.project.name: {{ .Values.projectName }}
  policyTypes:
  - Ingress
{{- range .Values.networkPolicies }}
  {{- $allowlist := .allowlist }}
  {{- if $allowlist }}
  ingress:
    {{- range $allowlist }}
    - from:
        - podSelector:
            matchLabels:
              link.project.name: {{ . }}
    {{- end }}
    - from:
        - namespaceSelector:
            matchLabels:
              app.kubernetes.io/name: ingress-nginx
  {{- else }}
  ingress:
  - {}
  {{- end }}
{{- end }}

        - podSelector:
            matchLabels:
              link.project.name: {{ . }}

4. 요청 테스트

• API Gateway Server에서 API Server호출시 정상 호출

{"responseCode":"NOT_FOUND","responseData":"type: API or static resource is not found"}

• API Gateway Sever에서 Internal API 호출시 접근 불가

upstream connect error or disconnect/reset before headers. retried and the latest reset reason: connection failure, transport failure reason: delayed connect error: 110

5. 마치며…

6. 참고

함께 보면 좋은 글

• [Kubernetes] Autoscaling 사용하기
• [Kubernetes] Helm Chartmuseum 사용법
• [DevOps] Kubernetes HPA 실전 적용
• [Kubernetes] K8S Cronjob Monitoring

The post [Kubernetes] NetworkPolicy 적용 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번 시간에는 Nginx를 통해 트래픽을 제어하기 위한 기능은 Rate Limit에 대해서 정리해보도록 하겠습니다. 필자가 Rate Limit 적용을 하면서 겪었던 사례도 함께 정리합니다.

Nginx에 관한 시리즈 포스팅은 아래에서 확인이 가능합니다.

• [DevOps] Nginx 컴파일 설치
• [DevOps] ansible nginx config 배포 구성
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx GeoIP 모듈 적용
• [DevOps] Nginx Log Aggregation & Dashboard
• [DevOps] Nginx Rate Limit
• [DevOps] Nginx Lua module 사용법

1. Rate Limit 이란?

Incomming connection 혹은 requests 에 대한 rate을 제한하는 기능입니다.

예를들어 너무 많은 connection이 동시에 발생해 server에 부담을 가하는 경우, rate limit을 초과한 connection은 reject할 수 있습니다.

Rate Limit을 사용하는 이유

Rate Limit을 사용하는 이유는 다음과 같습니다.

• DDos공격에 의한 자원 고갈을 방지
• 서버 과부하 방지
  • Bot에서 오는 트래픽이나 사용자의 잘못된 이용 패턴으로 유발된 트래픽을 걸러내는데 활용
  • 서버가 처리할 수 있는 요청의 임계 값을 넘어선 요청을 방지함으로써 서버의 안정성을 높이는 역할

Rate Limit 알고리즘

• 토큰 버킷은 지정된 용량(버킷 크기)을 갖는 컨테이너로, 사전 설정된 양의 토큰(토큰 공급률)이 주기적으로 채워집니다.
  • 각 요청은 처리될 떄 마다 하나의 토큰을 사용합니다.
  • 요청이 들어오면 먼저 충분한 토큰이 있는지 검사한 후, 있는 경우 버킷에서 토큰 하나를 꺼낸 후 요청을 전달합니다.
  • 만약 충분한 토큰이 없는 경우, 해당 요청은 버려집니다.
• 장점
  • 큐의 크기가 제한되어 있어, 메모리 사용 측며네서 효율적
  • 고정된 처리율을 갖고 있어 안정적 출력이 필요한 경우 적합
• 단점
  • 단 시간에 트래픽이 몰려서 요청이 들어오면 쌓이게 되고 제때 처리하지 못하면 최신 요청들은 버려지게 됩니다.
  • 버킷 크기의와 처리율을 튜닝하기 까다롭습니다.

2. Nginx Rate Limit 설정

Nginxdㅔ서는 Rate Limit을 2가지 방식으로 제공하고 있습니다.

• limit_req – 요청 제한

  #동일 아이피 당 Rate을 10r/s로 제한하겠다는 의미
  limit_req_zone $binary_remote_addr zone=request_limit_per_ip:10m rate=10r/s;
  
  server {
    location /login/ {
        limit_req zone=request_limit_per_ip burst=10 nodelay;
  
        proxy_pass http://my_upstream;
    }
  }
  

• limit_conn – 커녁션 제한

  #동시에 서버에 연결되는 커넥션 수로 10개로 제한하겠다는 의미
  limit_req_zone $server_name zone=request_limit_per_server:10m;
  
  server {
    location /login/ {
        limit_req zone=request_limit_per_server 10;
  
        proxy_pass http://my_upstream;
    }
  }
  

Zone

• rate limit을 적용할 zone을 정의합니다.
  • $server_name(per serer)
  • $binary_remote_addr(per user)
  • $request_uri(per uri)

zone size

• zone의 이름과 메모리에 저장할 zone의 사이즈 결정
  • zone=MYZONE:10m

limit_req 정의

• rate=1r/s, rate=60r/m과 같이 frequency를 정의합니다.
  • 예를들어 10r/s가 1초당 10개의 요청이 처리된다는 것이 아닙니다. 0.1초에 1개의 요청을 처리할 수 있다는 의미입니다.

Burst Mode

burst를 적용하면, rate limiting을 초과하는 connection을 즉시 reject하지 않고 wait하게 만들 수 있습니다. 일부 rate limit을 넘어 들어온 요청을 queue에 적재하고, rate limit 속도에 맞춰 pop 되어 실행합니다.

• 속도가 제한된 엔드포인트에 10개의 병렬 요청 보내기
  • 10개 요청 중 9개가 거부됩니다. 이는 30r/m 즉, 2초마다 새 요청이 허용된다는 의미입니다. 여기서는 10개의 요청이 동시에 도착했고, 그 중 하나는 허용되고 나머지 9개는 nginx에서 거부가 됩니다.

  

• Burtmode를 통해 허용치 늘리기
  • burst=5 를 통해서 버스트를 처리할 수 있도록 합니다. 기존에는 1/10에서 6/10개가 성공이 되도록 허용치를 늘렸습니다. ( 나머지는 거부 ) 그러나 여기서 주목해야될 것은 나머지 5개가 허용이 되었더라도 30r/m 즉, 2초마다 1개의 요청에 대해서 처리하도록 제한합니다.

  

• Nodelay를 통해 burst mode된 나머지 요청도 지연없이 처리 하기
  • burst=5 인경우와 처리되는 갯수는 동일합니다. 그러나 이제 처리 속도는 2초당 1개의 요청속도로 엄격하게 제한되지 않습니다.

  

4. Nginx Rate Limit 사용 사례

필자가 운여하는 서비스에서 공격성 트래픽이 다수 들어오는 케이스가 있었습니다. 서두에서도 설명했듯이 Rate Limit을 설정하는 이유는 외부의 비이상적 트래픽으로부터 서비스를 보호하고 안정성을 유지하기 위함입니다.

Requested URI 분석

• 공격성 트래픽에 의한 Request 패턴을 분석하기로 했습니다.
  • 다양하게 호출을 하면서 내부의 취약점을 찾으려는 내용들이 식별됐습니다.

  {request_uri="/_next/static/LdA0nq_uXCJOjaYEOuZcS/.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\etc/passwd"}
  {request_uri="/_next/static/LdA0nq_uXCJOjaYEOuZcS/./WEB-INF/web.xml?"}
  
  GET /api/v1/games/������������������������������������������������������������etc��passwd
  GET /api/v1/games/(nslookup-q=cnamehitufxhlvamalcfebb.bxss.me||curlhitufxhlvamalcfebb.bxss.me))
  GET /api/v1/games/../../../../../../../../boot.ini
  

  

• Rate Limit을 설정하기 위한 RPS 확인 (회고를 위한 기록)

  • 사실 해당 영역의 분석은 잘못된 내용입니다.
  • rate limit을 속도의 개념으로 생각해서 rps 분석을 통해서 적절한 값을 찾으려고했습니다. <- 이부분 부터가 잘못된 생각이였습니다.
  • 아래의 그림을 통해서 rate limit 설정치 : 2 <= 제한값 <= 17 의 설정치를 계산했지만, 잘못된 내용이였습니다.
  • rate limit은 한개의 요청 이후 다음 요청이 들어올 떄까지의 속도이고 예를들어 `30r/m“은 2초안에 1개의 요청만 허용한다는 개념입니다.

  

  

다시 처음부터 분석

• Rate Limit 산정을 위한 Request 분석
  • 한개의 IP에 대해서 요청을 상세히 분석합니다. 하나의 요청으로부터 다음 요청까지의 시간 차이를 계산하여 대략적인 rate limit의 값을 계산했습니다. 여기서는 약 0.2초의 1개의 요청을 허용하도록 산정하여 5r/s 로 산정을 하게 됐습니다.

  - 2023-07-21 14:53:32.105 "GET / HTTP/2.0”
  - 2023-07-21 14:53:32.361 "GET /robots.txt?1689918812080 HTTP/2.0”
  - 2023-07-21 14:53:32.857 "GET /_next/image?url=https%3A%2F% HTTP/2.0"
  - 2023-07-21 14:53:33.358 "GET /_next/image?url=https%3A%2F% HTTP/2.0"
  - 2023-07-21 14:53:34.109 "GET /api/v1/drops/banners?size=10 HTTP/2.0”
  - 2023-07-21 14:53:34.359 "GET /api/v1/games/title HTTP/2.0”
  - 2023-07-21 14:53:34.359 "GET /_next/image?url=https%3A%2F% HTTP/2.0"
  - 2023-07-21 14:53:34.359 "GET /_next/image?url=https%3A%2F%5 HTTP/2.0"
  

설정 예시

• 실제로 설정한 예시

  #Back-end의 API에 대한 rate limit
  limit_req_zone $whitelist zone=be_access_limit_per_ip:10m rate=10r/s;
  ...
  location ~ ^/(api|pg-api)/ {
    limit_req zone=be_access_limit_per_ip burst=5 nodelay;
    limit_req_status 429;
    # limit_req_dry_run on;
  
  
  #Front-end에 대한 rate limit
  limit_req_zone $whitelist zone=fe_access_limit_per_ip:10m rate=10r/s;
  ...
  location /  {
    limit_req zone=fe_access_limit_per_ip burst=5 nodelay;
    limit_req_status 429;
    # limit_req_dry_run on;
  
  

5. 마치며…

이번 시간에는 nginx의 rate limit 기능을 알아보고, 실제로 적용해던 사례에 대해서 정리를 해보았습니다. 처음에는 단순하게 속도의 개념으로 알았는데 1개의 요청으로부터 다음 요청이 들어오는 사이의 시간을 조정하는것을 알게 됐습니다. 또한 burst mode를 통해서 동시다발적으로 요청이 들어올때도 제어해서 요청을 처리 할 수 있게 됐습니다. Nginx의 기능을 통해서 트래픽을 제어할 수 있게 되어 서비스에 많은 공헌을 하게 된것 같습니다.

6. 참고

NGINX rate-limiting in a nutshell

[Nginx] Rate Limiting

[Nginx RateLimit] Nginx에 RateLimit 적용해보기

The post [DevOps] Nginx Rate Limit appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈 입니다. 이번시간에는 loki와 promtail에 대해서 정리를 해보도록 하겠습니다. 필자는 프로메테우스와 그라파나를 사용하다보니, 자연스럽게 Loki라는 제품에 대해서 접할 수 있었습니다. 그리고 로그를 좀 더 쉽게 수집하고 표현할 수 있다는 점에서 바로 적용을 해보기로 했습니다.

본 포스팅은 Loki를 처음 접하거나 간단하게 사용해 볼 수 있는 내용으로 구성했습니다.

Nginx에 관한 시리즈 포스팅은 아래에서 확인이 가능합니다.

• [DevOps] Nginx 컴파일 설치
• [DevOps] ansible nginx config 배포 구성
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx GeoIP 모듈 적용
• [DevOps] Nginx Log Aggregation & Dashboard
• [DevOps] Nginx Rate Limit
• [DevOps] Nginx Lua module 사용법

1. Loki란 무엇인가요?

Loki는 Prometheus에 영감을 받아서 탄생한 클라우드 네이티브 인프라를 위한 로깅 서비스 입니다.

KubeCon Seattle 2018에서 Grafana Labs에서 오픈소스로 공개된 Loki는 Kubernetes에서 Prometheus에 대한 경험이 있는 사용자에게 최적화된 로깅 백엔드입니다. Loki는 뛰어난 로그 검색 및 시각화 기능을 Grafana 6.0에서 제공합니다.

Loki는 단일 로그 라인을 그대로 처리한다는 아이디어를 기반으로 만들어졌습니다. 이는 전체 텍스트 인덱싱을 하는 것이 아니라 Prometheus와 마찬가지로 동일한 label을 사용하여 관련 로그들을 그룹화한다는 것을 의미합니다. 이 방식은 훨씬 효율적이며 확장성이 좋습니다.

구성 요소

• Loki
  • 메인 서버 구성 요소를 Loki라고 부르며 전달되는 로그들을 영구 저장하고 클라이언트의 LogQL 쿼리를 실행합니다.

Loki는 Components(querier, ingester, query-frontend, or distribute)로 구성이 됩니다.

• Distributor

Distributor는 클라이언트(fluentd, fluent-bit, promtail)에서 들어오는 로그를 받아서 로그의 정확성을 검증하고 하나 이상의 Ingester에게 전달합니다.

• Ingester

Ingester는 Distributors 로부터 로그를 수신하고 들어오는 데이터를 장기 저장소(DynamoDB, S3, Cassandra, etc.)에 저장을 합니다

• Querier

Querier는 Ingester(내장 메모리) 및 장기 저장소(DynamoDB, S3, Cassandra, etc.) 에서 로그 쿼리 한 데이터를 가져온 후 중복을 제거 후 Grafana 또는 Query-Frontend 에게 데이터를 반환합니다.

• Query-Frontend

쿼리 프론트엔드는 2020년 여름에 도입되었으며 분산 설정의 선택적 구성 요소입니다. 일종의 프록시 서비스라고 생각할 수 있습니다. Grafana에서 요청을 수신하고 일부 유효성 검사 및 캐싱을 수행한 다음 쿼리를 쿼리자에게 전달합니다.

2. Loki 설치

필자는 kubernetes를 운영하고 있기 때문에 helm을 통해서 설치하기로 했습니다.

loki stack helm cahrt

grafana/loki와 관련된 Helm Chart들을 살펴보면 5가지 방식으로 설치가 가능합니다.

• grafana/loki : 현재 Grafana Loki에서 중점적으로 관리 및 업데이트하고 있는 Helm chart

• grafana/loki-distributed : Microservice 형태로 Loki를 관리할 수 있도록 해주는 Helm chart
  -> Ingester, Querier, Index Gateway, Distributor, Query-Frontend, Ruler 등으로 구분되어 있음

• grafana/loki-simple-scalable : 현재 Deprecated 되었지만 Loki를 아주 간단하게 관리할 수 있도록 도와주는 Helm chart
  -> Write와 Read, Nginx gateway로만 구분되어 있다.

• grafana/loki-stack : 올인원 모놀리식 형태로 사용할 수 있는 Loki Helm chart

필자는 간단하면서도 내부용도로 사용하는 Loki를 구성하기 위해 올인원 방식으로 결정하였습니다.

• 설치 버전 : v2.6.1

• Loki의 Chart 레포지토리를 helm에 추가

$ helm repo add grafana https://grafana.github.io/helm-charts
$ helm repo update

Loki의 Helm Chart에서 다음 사항을 false 처리함으로써 미사용으로 처리합니다.

• grafana.enabled=false
• loki.persistence.enabled=false
• promtail.enabled=false
• Loki의 볼륨은 File System으로 관리 : 운영계일 경우 Loki : S3와 DynamoDB 혹은 Minio 등을 고려할 수 있겠지만 개발계에 로그와 모니터링 시스템을 구성할 예정이기 때문에 큰 상관이 없을 것이라 생각되어 파일 시스템으로 구성하되 최소한의 안전 장치로 PVC를 사용

필자의 구성은 Remote 서버의 Nginx 로그들을 Promtail을 통해서 Loki로 수집을 하고자 합니다. 따라서, 별도로 Cluster에는 Promtail이 필요 없기 때문에 미사용으로 표기를 합니다.

• values 파일 변경

    $ helm upgrade --install loki grafana/loki-stack --create-namespace --namespace=monitoring --set grafana.enabled=false,promtail.enabled=false,loki.config.table_manager.retention_deletes_enabled=true,loki.config.table_manager.retention_period=336h,loki.persistence.enabled=false,loki.config.limits_config.max_query_series=100000,loki.config.frontend.max_outstanding_per_tenant: 4096,loki.config.query_range.parallelise_shardable_queries: true,loki.config.query_scheduler.max_outstanding_requests_per_tenant: 4096,loki.config.split_queries_by_interval: 15m,loki.config.max_query_parallelism: 32

• loki 설정 옵션

grafana.enabled=false,
promtail.enabled=false,

loki.config.table_manager.retention_deletes_enabled=true,
loki.config.table_manager.retention_period=336h,
loki.persistence.enabled=false,

loki.config.limits_config.max_query_series=100000,
loki.config.frontend.max_outstanding_per_tenant: 4096,
loki.config.query_range.parallelise_shardable_queries: true,
loki.config.query_scheduler.max_outstanding_requests_per_tenant: 4096,

loki.config.split_queries_by_interval: 15m,
loki.config.max_query_parallelism: 32

• Nodeport 타입으로 변경

$ kubectl edit svc loki -n monitoring
type : NodePort

• 설치 검증

$ kubectl --namespace=monitoring get services
$ kubectl --namespace=monitoring get pods

3. Promtail 설치

Loki를 설치 했으면, Nginx가 설치되어있는 서버에 Promtail을 설치하여, 로그를 Loki로 전송할 수 있도록 해보겠습니다.

promtail official document

• 설치 버전 : v2.7.3
• binary download

$ mkdir /etc/loki
$ cd /etc/loki
$ wget https://github.com/grafana/loki/releases/download/v2.7.3/promtail-linux-amd64.zip
$ unzip promtail-linux-amd64.zip
$ chmod a+x promtail-linux-amd64
$ rm -rf promtail-linux-amd64.zip
$ mv promtail-linux-amd64 promtail

• 설정 파일 download & 설정

$ wget https://raw.githubusercontent.com/grafana/loki/main/clients/cmd/promtail/promtail-local-config.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://xx.xxx.xx.xxx:32617/loki/api/v1/push

scrape_configs:
- job_name: nginx
  static_configs:
  - targets:
      - localhost
    labels:
      job: nginxlogs
      __path__:  /home1/irteam/apps/nginx-1.20.1/logs/access_log

• service 등록

$ sudo vi /etc/systemd/system/promtail.service

[Unit]
Description=Grafana Loki Promtail
Documentation=https://github.com/grafana/loki
After=network-online.target

[Service]
User=root
Restart=always
ExecStart=/etc/loki/promtail --config.file=/etc/loki/promtail-local-config.yaml

[Install]
WantedBy=multi-user.target

• service 시작

$ systemctl restart promtail
$ systemctl status promtail 

4. 그라파나 설정 및 대시 보드 구성

이제 Loki, Promtail이 모두 구성이 됐으니, 로그는 정상적으로 수집이 될 것입니다. 그러면 Grafana에서 해당 Datasource 연결을 통해서 데이터가 정상적으로 수집이 되는지 확인을 해보도록 하겠습니다.

grafana의 Datasource를 추가해주는 화면에서 Target URL에 Loki의 IP:Nodeport를 입력을 해줍니다. 그렇게 되면, 정상적으로 연동이 됩니다.

• Grafana의 Explorer에서 LokiQL을 통해서 조회

Nginx에서 쌓이는 Access log가 동일하게 Loki에서 정상 수집됨을 확인 할 수 있습니다.

• Grafana의 Dashboard 연동을 통해서 시각화

5. 마치며…

Nginx의 Access 로그는 서비스의 유입점이기 떄문에 굉장히 유용한 정보로 활용 될 수 있습니다. 이에 대한 로그를 빠르게 수집하고 시각화 하여 활용하게 되면 서비스의 안정화 혹은 사업적으로도 가치가 높습니다.

Loki와 Promtail에 대해서 간단하게 적용해 볼 수 있도록 포스팅을 정리해봤습니다. 추후에는 Loki의 쿼리 속도 개선에 대해서 정리를 해보도록 하겠습니다.

6. 참고

• Grafana Loki에 대해 알아보자
• Logging/Grafana Loki 아키텍처 구성
• Loki 실 적용 내역 공유
• Loki – Kubernetes 로깅
• Loki를 이용한 손쉬운 Kubernetes Logging
• [EKS] 아주 가벼운 Loki + Grafana + Promtail 로그 시스템 구성
• Website Analytics based on Nginx, Loki, Promtail, and Grafana
• Native 설치
  • Grafana 외부 서버의 데이터를 가져오기 – NGINX – access.log
  • Grafana loki, promtail
• Promtail 참고
  • Promtail config for syslog and extract labels from nginx logs
  • Tinkering with Loki, Promtail, Grafana, Prometheus, Nginx and Dnsmasq

The post [DevOps] Nginx Log Aggregation & Dashboard appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. hubot 소개

• Hubot 은 깃헙의 사내용으로 제작된 챗봇이지만, 많은 발전을 거듭하여 현재 오픈소스로 공개되어있습니다. Node 기반이며, Slack과 친화적입니다.
• 휴봇의 가장 큰 장점은 간단한 스크립트(CoffeeScript, JavaScript) 작성을 통해 강력한 기능을 추가할 수 있다는 점입니다.
• 특정 단어 혹은 문장에 따라 프로세스를 정의할 수 있습니다. 이미 구축된 스크립트들도 많이 공개 되어있어 손쉽게 스크립트를 추가하여 구현할 수 있습니다.

enterReplies = ['Hi', 'Target Acquired', 'Firing', 'Hello friend.', 'Gotcha', 'I see you']
leaveReplies = ['Are you still there?', 'Target lost', 'Searching']

module.exports = (robot) ->
  robot.enter (res) ->
    res.send res.random enterReplies
  robot.leave (res) ->
    res.send res.random leaveReplies

[출처] https://blog.hax0r.info/2017-05-14/slack-developer-kit-for-hubot/  [Hax0r blog]

• hubot-diagnostics: 간단한 기본기능들이 들어있다. 위에서 사용했던 ping을 이 모듈이 응답한 것이다. 그 외 time과 echo도 있다.
• hubot-help: 현재 hubot의 명령어들을 표시해준다. script들의 # Commands 들을 가져와서 뿌려주는 역할을 한다.
• hubot-pugme: 설명을 보면은 가장 중요한 휴봇 스크립트라고 적혀있다. 기능은 퍼그 이미지 url을 랜덤으로 가져오는 것이다. 하지만 2년이 지나서 그런지 url이 유효하지 않다.
• hubot-rules: hubot의 룰을 설명한다. > hubot rules으로 볼 수 있다.
• hubot-shipit: 가지고 있는 이미지URL중 랜덤으로 하나를 보내준다. hubot-pugme와 마찬가지로 유효한 URL이 별로 없다.
• hubot-heroku-keepalive: 무료 heroku를 사용할 경우 하루 사용시간 제한이 있기 때문에 필요한 것 같다.
• hubot-redis-brain: hubot의 brain기능을 redis로 이용하는 것이다. hubot-google-images와 hubot-google-translate는 이름에서도 알 수 있듯이 구글의 API키를 받아서 구글 서비스를 사용할 때 필요하다. hubot-maps도 구글의 맵서비스를 이용하는 것이다.

2. hubot 설치 및 설정

• node version : v16.17.0
• npm version : 8.15.0

2-1. hubot 설치

$ npm install -g yo generator-hubot

$ mkdir -p ~/apps/devops
$ cd ~/apps/devops
$ yo hubot --adapter=slack

2-2. hubot 설정

# external-script.json
[]

• hubot-heroku-keepalive
• hubot-redis-brain

# ~/apps/devops/node_modules/hubot/src/hubot.js
...
const port = process.env.EXPRESS_PORT || process.env.PORT || 8083
...

2-3. Slack 설정

2-4. Hubot 실행

$ HUBOT_SLACK_TOKEN=xoxb-... ./bin/hubot --adapter slack

3. hubot script 가이드

• Hubot Script Guide
  • .coffee 혹은 .js 파일로 작성이 가능합니다.

3-1. send/ reply / emote

# 경로에 script 작성 /apps/devops/scripts
# send : room으로 왔으면 room으로 전달, DM으로 오면 DM으로 전달
# reply : thread에 댓글 형식으로 메시지 전달
# emote : room으로 메시지 전달 
module.exports = (robot) -> 
  robot.hear /badger/i, (res) ->
    res.send "Badgers? BADGERS? WE DON'T NEED NO STINKIN BADGERS"

  robot.respond /open the pod bay doors/i, (res) ->
    res.reply "I'm afraid I can't let you do that."

  robot.hear /I like pie/i, (res) ->
    res.emote "makes a freshly baked pie"

3-2. messageRoom

# messageRoom 기능을 이용하여 지정된 방이나 사용자에게 메시지를 보낼 수 있습니다.
module.exports = (robot) ->
  robot.hear /green eggs/i, (res) ->
    room = "mytestroom"
    robot.messageRoom room, "I do not like green eggs and ham.  I do not like them sam-I-am."

  robot.respond /I don't like Sam-I-am/i, (res) ->
    room =  'joemanager'
    robot.messageRoom room, "Someone does not like Dr. Seus"
    res.reply  "That Sam-I-am\nThat Sam-I-am\nI do not like\nthat Sam-I-am"

  robot.hear /Sam-I-am/i, (res) ->
    room =  res.envelope.user.name
    robot.messageRoom room, "That Sam-I-am\nThat Sam-I-am\nI do not like\nthat Sam-I-am"

3-3. Capturing

# 정규식에 대해 들어오는 메시지를 처리할 수 있습니다. 
  robot.respond /open the (.*) doors/i, (res) ->
    doorType = res.match[1]
    if doorType is "pod bay"
      res.reply "I'm afraid I can't let you do that."
    else
      res.reply "Opening #{doorType} doors"

3-4. HTTP 호출하기

# Hubot은 3rd API들과 연계하기 위해서 HTTP 호출을 할 수 있습니다.
  data = JSON.stringify({
    foo: 'bar'
  })
  robot.http("https://midnight-train")
    .header('Content-Type', 'application/json')
    .post(data) (err, res, body) ->
      # your code here
      if err
        res.send "Encountered an error : ( #{err}"
        return
      # your code here, knowing it was successful   

      if res.statusCode isnt 200
        res.send "Request didn't come back HTTP 200 : ("
        return

      # RateLimit을 이용하여 호출량을 조절
      rateLimitRemaining = parseInt res.getHeader('X-RateLimit-Limit') if res.getHeader('X-RateLimit-Limit')
      if rateLimitRemaining and rateLimitRemaining < 1
        res.send "Rate Limit hit, stop believing for awhile"      

3-5. HTTP 수신기

# Hubot은 HTTP 요청을 처리하기 위한 익스프레스 웹 프레임워크에 대한 지원을 포함합니다. 
# 해당 포트로 정적파일 제공도 가능합니다.

module.exports = (robot) ->
  # the expected value of :room is going to vary by adapter, it might be a numeric id, name, token, or some other value
  robot.router.post '/hubot/chatsecrets/:room', (req, res) ->
    room   = req.params.room
    data   = if req.body.payload? then JSON.parse req.body.payload else req.body
    secret = data.secret

    robot.messageRoom room, "I have a secret: #{secret}"

    res.send 'OK'

# Curl을 이용하여 테스트
// raw json, must specify Content-Type: application/json
curl -X POST -H "Content-Type: application/json" -d '{"secret":"C-TECH Astronomy"}' http://127.0.0.1:8080/hubot/chatsecrets/general

// defaults Content-Type: application/x-www-form-urlencoded, must st payload=...
curl -d 'payload=%7B%22secret%22%3A%22C-TECH+Astronomy%22%7D' http://127.0.0.1:8080/hubot/chatsecrets/general

3-6. 기타 기능

# Randomize
lulz = ['lol', 'rofl', 'lmao']

res.send res.random lulz

# Detect Enter & Exit
enterReplies = ['Hi', 'Target Acquired', 'Firing', 'Hello friend.', 'Gotcha', 'I see you']
leaveReplies = ['Are you still there?', 'Target lost', 'Searching']

module.exports = (robot) ->
  robot.enter (res) ->
    res.send res.random enterReplies
  robot.leave (res) ->
    res.send res.random leaveReplies

# Brain 
robot.respond /have a soda/i, (res) ->
  # Get number of sodas had (coerced to a number).
  sodasHad = robot.brain.get('totalSodas') * 1 or 0

  if sodasHad > 4
    res.reply "I'm too fizzy.."

  else
    res.reply 'Sure!'

    robot.brain.set 'totalSodas', sodasHad+1
robot.respond /sleep it off/i, (res) ->
  robot.brain.set 'totalSodas', 0
  msg.reply 'zzzzz'

4. hubot 기능 구현

4-1. JIRA 자동 등록

module.exports = (robot) ->
  robot.respond /create TICKET(.*)/i, (msg) ->

    threadId = getThreadId(msg);
    title = ''
    for line in msg.message.text.split(/\r?\n/)
      console.log (line)
      if line.indexOf("*Summary : *") != -1
        title = line.replace /\*Summary \:\*/, ""
    if title == ''
      msg.send 'Faild to get the subject'
      return
    json =
      fields:
        project:
          key: "LNDO"
        summary: title,
        description: msg.message.text,
        issuetype:
          name: "_Task"
        labels: ["help_devops_thread"]
    json = JSON.stringify(json)    

    create_query = btsBaseUrl + "/rest/api/2/issue"
    auth = btoa("#{user}:#{password}")

    msg.http(create_query)
      .headers(Authorization: "Basic #{auth}", 'Content-Type': 'application/json')
      .post(json) (err, res, body) ->
        issueName = undefined
        if body
          returnJson = JSON.parse(body)
          if returnJson.hasOwnProperty('key')
            issueName = returnJson.key
        if err
          console.log 'Error!'
          console.log err
        if issueName == undefined
          console.log res
          msg.send 'Error on creation issue on BTS'
        else
          link = ''
          msg.send 'Create TICKET at ' + link
          threadCache[threadId] = {'lastUpdate': Date.now(), 'fsUpdate': Date.now(), 'BTS': issueName}
          fs.writeFileSync(threadDir + threadId, JSON.stringify(threadCache[threadId]))

4-2. JIRA 상태 업데이트

robot.respond /(.*)resolve TICKET(.*)/i, (msg) ->
    threadId = getThreadId(msg);
    getThreadCache(threadId);

    json =
      transition:
        id: "21"
      fields:
        resolution:
          name: "Done"
    json = JSON.stringify(json)

    BTS = threadCache[threadId]['BTS']
    resolve_query = btsBaseUrl + '/rest/api/2/issue/' + BTS + '/transitions?expand=transitions.fields&transitionId=21'
    auth = btoa("#{user}:#{password}")

    msg.http(resolve_query)
      .headers(Authorization: "Basic #{auth}", 'Content-Type': 'application/json')
      .post(json) (err, res, body) ->
        if body
          returnJson = JSON.parse(body)
          console.log(returnJson)
        if err
          console.log err
          msg.send 'There is an error reolsve ticket!'
        else
          link = ''
          msg.send 'Cloase BTS  at ' + link
          threadCache[threadId] = {'lastUpdate': Date.now(), 'fsUpdate': Date.now(), 'BTS': BTS}
          fs.writeFileSync(threadDir + threadId, JSON.stringify(threadCache[threadId]))

5. hubot 구성도

• Request Layer : Slack W/F를 통해서 요청하는 영역
• Slack - Hubot Layer : Slack의 W/F를 분석하여 Hubot 스크립트를 수행하는 영역
• InfraStructure Layer : Hubot과 연계되는 Tools가 위치하는 영역

6. 마치며..

함께 보면 좋은 글

• [DevOps] kubeadm upgrade를 통한 pod cidr 변경
• [DevOps] Nginx Rate Limit
• [DevOps] k8s monitoring with Datadog
• [DevOps] Istio virtualhost 사용법

The post [DevOps] Hubot 적용기 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. Datadog Agent 소개

• Cluster Node의 가시성 확보
• POD / Container 레벨의 가시성 확보
• Kubernetes Event 수집
• Application의 Trace 정보 수집

Kubelet에서 노드 수준 데이터 수집

API 서버에서 클러스터 수준 데이터 수집

Datadog 클러스터 에이전트를 통한 분산

• datadog-agent : 데이터독 에이전트는 각 노드의 메트릭, 분산 추적 및 로그를 수집하고 서버 리소스(CPU, Memory등) 메트릭을 자동으로 수집
• datadog-kube-state-metrics-agent : Kubernetes API를 감시하여 객체의 상태에 대한 메트릭을 수집.
• datadog-cluster-agent : node agent에서 Master노드의 API 서버에 직접 쿼리를 하게되면 클러스터 증가시 Master노드의 API서버 및 etcd에 대한 로그가 증가하기 때문에 Master 노드의 서버 부하를 줄이기 위해 API서버와 node agent간의 프록시 역할을 한다.

2. Datadog Agent 설치

1. Helm 를 설치합니다 .
2. Datadog Helm 저장소를 추가합니다.helm repo add datadog https://helm.datadoghq.com
3. 새로 추가된 차트의 최신 버전 가져오기: helm repo update.
4. 빈 values.yaml 파일을 만들고 원하는 경우 기본값 을 재정의합니다 . 여기 에서 몇 가지 예를 찾을 수 있습니다 .
5. Datadog 에이전트를 배포합니다.

helm install RELEASE_NAME -f datadog-values.yaml --set datadog.site='datadoghq.com' --set datadog.apiKey= datadog/datadog 

targetSystem: "linux"
datadog:
  apiKey: 'sample'
  appKey: 'sample'
  clusterName: 'test-k8s'
  tags: []
  kubelet:
    tlsVerify: "false"
  logs:
    enabled: false
    containerCollectAll: false
    containerCollectUsingFiles: false
  apm:
    portEnabled: true
    socketPath: /var/run/datadog/apm.socket
    hostSocketPath: /var/run/datadog/
  processAgent:
    enabled: false
    processCollection: false
  systemProbe:
    enableTCPQueueLength: false
    enableOOMKill: false
    collectDNSStats: false

설치 현황

datadog-agent-2dvkn                                3/3     Running   0          95d
datadog-agent-2jkdh                                3/3     Running   0          95d
datadog-agent-5q595                                3/3     Running   0          95d
datadog-agent-6gnnd                                3/3     Running   0          95d
datadog-agent-6pxn7                                3/3     Running   0          39d
datadog-agent-7kwpl                                3/3     Running   0          95d
datadog-agent-875rt                                3/3     Running   0          95d
datadog-agent-8sbjr                                3/3     Running   0          95d
datadog-agent-9c6d6                                3/3     Running   0          39d
datadog-agent-cluster-agent-84bd789556-cff7d       1/1     Running   0          95d
datadog-agent-kube-state-metrics-fb456b9bf-hqn2p   1/1     Running   0          95d
....

3. Helm Chart 수정(APM 설정)

• Cluster Node의 가시성 확보
• POD / Container 레벨의 가시성 확보
• Kubernetes Event 수집

• Application의 Trace 정보 수집

apiVersion: apps/v1
kind: Deployment
metadata:
....
## volume을 정의 합니다. 
## 1) dd-apm-agent mount를 위한 container volume 
## 2) apmsocket을 위한 hostpath volume
    spec:
      {{- if (ne .Values.phase "test") }}
      volumes:
      - name: datadog-apm-agent
        emptyDir: {}
      - hostPath:
          path: /var/run/datadog/
        name: apmsocketpath
      {{- end }}    
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: networkType
                operator: DoesNotExist
      containers:
      - name: {{ .Values.phase }}-{{ .Values.projectName }}
        image: {{ .Values.dockerImgName }}:{{ .Values.deployImgVersion }}
                ## volume을 mount 합니다. 
                ## 1) dd-apm-agent mount를 위한 container volume 
                ## 2) apmsocket을 위한 hostpath volume        
        {{- if (ne .Values.phase "test") }}
        volumeMounts:
        - name: datadog-apm-agent
          mountPath: /datadog/apm/agent
        - name: apmsocketpath
          mountPath: /var/run/datadog
        {{- end }}        
       .....      
                ## apm에 대한 셋팅을 합니다.
                ## 1) DD_ENV, DD_SERVICE, DD_VERSION 은 배포된 환경, 서비스 및 버전에 대한 정보 
                ## 2) DD_TRACE_ENABLED는 APM TRACE 사용 유무
        {{- if (ne .Values.phase "alpha") }}
        - name: DD_SERVICE
          valueFrom:
            fieldRef:
              fieldPath: metadata.labels['app']
        - name: DD_VERSION
          valueFrom:
            fieldRef:
              fieldPath: metadata.labels['version']
        - name: DD_ENV
          value: {{ .Values.phase }}
        - name: DD_TAGS
          value : {{ .Values.namespace }}
        - name: DD_TRACE_ENABLED
          value: "true"
        - name: DD_TRACE_SAMPLE_RATE
          value: "1"
        - name: DD_PROFILING_ENABLED
          value: "true"
        - name: DD_JMXFETCH_ENABLED
          value: "true"
                ## 어플리케이션 기동시 APM jar 파일을 삽입합니다. 
        command: ["/bin/sh"]
        args: ["-c", "/sbin/tini java -javaagent:/datadog/apm/agent/dd-java-agent.jar $JAVA_OPTS -jar  api-gateway.jar"]
        {{- end }}                  
      ......
      {{- if (ne .Values.phase "alpha") }}
            ## initcontainer를 이용하여 초기 dd-agent-jar파일을 다운받아 container volue을 mount 합니다.
      initContainers:
      - name: datadog-apm-agent
        image: busybox
        command:
        - wget
        - -O
        - /datadog/apm/agent/dd-java-agent.jar
        - https://dtdg.co/latest-java-tracer
        volumeMounts:
        - name: datadog-apm-agent
          mountPath: /datadog/apm/agent
      {{- end }}      

4. Dashboard 작성

• Kubernetes 현황
• Kubernetes Contaeinr CPU, Memory
• Kubernetes Events
• Application Error(50*)
• Application Latency(3s 이상)
• Application Request Volume

5. 마치며..

6. 참조

함께 보면 좋은 글

• [DevOps] k8s Horizontal POD autoscaling
• [DevOps] k8s Log 수집 시스템 구성
• [DevOps] Nginx Rate Limit
• [DevOps] Hubot 적용기

The post [DevOps] k8s monitoring with Datadog appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번시간에는 Istio virtualhost를 통한 트래픽 관리에 대해서 정리를 해보려고 합니다. 필자가 속한 프로젝트에서는 Istio를 grpc 분산용으로 사용하고 있습니다. 그러나 따로 트래픽 관리라던지, 인증가 인가에 대한 내용을 적용하고 있지는 않습니다.

Istio의 L7 Envoy proxy를 사용은 하고있으나, 적절하게 기능들을 활용하고 있지는 않기에 이번 포스팅을 통해서 어떠한 내용들을 다룰 수 있는지를 기록하고자 합니다.

istio관련된 시리즈는 아래에서 확인이 가능합니다.

• istio 1편 : Istio란 무엇인가요?
• istio 2편 : Istio Traffic Tracing : Kiali
• istio 3편 : Istio virtualhost 사용법

1. Bookinfo Sample app

istio는 친절하게도 설치를 하게 되면 샘플 앱을 제공하고 있습니다. 이부분이 서비스 메시를 이해하는데 많은 도움이 되었습니다.

먼저 설치는 다음의 포스팅을 확인해주시기 바랍니다.

설치를 하고 다음의 경로를 이동을 하게 되면, example이 존재합니다.

# bookinfo sample 예제
/istio-1.10.0/samples/bookinfo

# bookinfo application 설치
$kubectl apply -f /platform/kube/book/bookinfo.yaml

해당 파일을 설치하게 되면, 다음과 같이 여러개의 어플리케이션이 설치가 됩니다.

service/details created
serviceaccount/bookinfo-details created
deployment.apps/details-v1 created

service/ratings created
serviceaccount/bookinfo-ratings created
deployment.apps/ratings-v1 created

service/reviews created
serviceaccount/bookinfo-reviews created
deployment.apps/reviews-v1 created
deployment.apps/reviews-v2 created
deployment.apps/reviews-v3 created

service/productpage created
serviceaccount/bookinfo-productpage created
deployment.apps/productpage-v1 created

productpage, details, reviews, ratings로 구성이 되어있고, 전체적인 아키텍처는 다음과 같습니다 .

사전에 클러스터에 Istio-1.10.0 버전을 설치하였고, default namespace에 injection 까지 마친상태였습니다. 이후에 각 서비스와 함께 Envoy 사이트카를 주입하여 Istio 환경에서 서비스를 구성하고 실행하기만 하면됩니다.

예제에서는 Ingress를 사용하게끔 되어있지만, 별도의 Ingress Layer를 사용하지 않고, Product Page자체를 Node port로 외부로 노출시켰습니다.

# product page 외부로 노출 시키기

kubectl patch svc productpage -p '{"spec": {"type": "NodePort"}}'
service/productpage patched

# service port 
$ kubectl get svc
NAME          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
details       ClusterIP   192.168.59.179           9080/TCP         94s
kubernetes    ClusterIP   192.168.0.1              443/TCP          22h
productpage   NodePort    192.168.32.89            9080:32383/TCP   94s
ratings       ClusterIP   192.168.50.87            9080/TCP         94s
reviews       ClusterIP   192.168.56.81            9080/TCP         94s

최종적으로 {host ip} : 32383/productpage 로 접속을 하면 다음과 같은 화면이 노출됩니다.

2. Destination rule과 Virtual host

1) Destinatino Rule

DestinationRule라우팅이 발생한 후 서비스를 위한 트래픽에 적용되는 정책을 정의합니다. 이러한 규칙은 로드 밸런싱에 대한 구성, 사이드카의 연결 풀 크기, 로드 밸런싱 풀에서 비정상 호스트를 감지하고 제거하기 위한 이상값 감지 설정을 지정합니다.

자세한 설정은 다음의 공식 Document에서 볼 수 있습니다.

Destination Rule

bookinfo 예제에서 다음의 경로 파일을 열어봅니다.

# destionation rule all 
$ vi bookinfo/networking/destination-rule-all.yaml

내용이 길지만, 하나의 부분에 대해서 말씀을 드리겠습니다.

#  destination-rule-all.yaml
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: reviews
spec:
  host: reviews
  subsets:
  - name: v1
    labels:
      version: v1
  - name: v2
    labels:
      version: v2
  - name: v3
    labels:
      version: v3

host: reviews 는 서비스의 이름을 말합니다.

subsets 는 서비스의 개별 버전을 나타내는 하나 이상의 명명된 집합입니다. 트래픽 정책은 하위 집합 수준에서 재정의할 수 있습니다.

위에서는 각 labeling의 version기준으로 v1, v2, v3로 나누었습니다. 처음 아키텍처 그림에서 reviews가 3개의 버전을 서비스가 되는 것을 볼 수 있었습니다.

# destination-rule-reviews.yaml
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: reviews
spec:
  host: reviews
  trafficPolicy:
    loadBalancer:
      simple: RANDOM
  subsets:
  - name: v1
    labels:
      version: v1
  - name: v2
    labels:
      version: v2
  - name: v3
    labels:
      version: v3

trafficPolicy : loadBalancer, connectionPool, outlierDetection, tls을 통해 특정 목적지와 특정 포트에 적용할 수 있는 트래픽 정책입니다.

위의 예에서는 random traffic으로 로드밸런싱을 하도록 구성을 했습니다.

2) Virtual Service

위의 정해진 Destination Rule을 기준으로 가상 서비스를 만들 수 있습니다. 트래픽을 어떤식으로 라우팅을 할지 설정이 가능합니다.

# virtual-service-all-v1.yaml
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: productpage
spec:
  hosts:
  - productpage
  http:
  - route:
    - destination:
        host: productpage
        subset: v1
---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: reviews
spec:
  hosts:
  - reviews
  http:
  - route:
    - destination:
        host: reviews
        subset: v1
---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: ratings
spec:
  hosts:
  - ratings
  http:
  - route:
    - destination:
        host: ratings
        subset: v1
---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: details
spec:
  hosts:
  - details
  http:
  - route:
    - destination:
        host: details
        subset: v1

위의 예제에서는 모든 서비스를 v1으로 보내겠다는 설정을 적용하였습니다.

host 트래픽이 보내질 목적지 host(Service name) 입니다.

http > route > destination Destination Rule에서 정의한 곳으로 트래픽을 보내기 위해 설정을 합니다.

아래 2개의 파일을 배포하게 되면, ratings 서비스가 v1으로만 트래픽이 전달이 되므로, 별점 정보는 노출이 되지 않는(v1) 으로 서비스를 하게 됩니다.

destination-rule-all.yaml
virtual-service-all-v1.yaml

3. Intellegent Routing

위의 예제와 더불어 Routing에 대해서 bookinfo 예제 파일로 설명을 드리겠습니다.

특정 User에게 특정 버전만 서비스 하기

# virtual-service-reviews-test-v2.yaml
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: reviews
spec:
  hosts:
    - reviews
  http:
  - match:
    - headers:
        end-user:
          exact: jason
    route:
    - destination:
        host: reviews
        subset: v2
  - route:
    - destination:
        host: reviews
        subset: v1

headers에 jason이라고 있으면, reviews를 v2로 서비스 하고 그외에는 v1으로 서비스를 합니다.

점진적 마이그레이션

다음 구성에서 보시듯이, reviews의 8:2 비율로 v1과 v2로 라우팅을 시키는 내용입니다.

# virtual-service-reviews-80-20.yaml
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: reviews
spec:
  hosts:
    - reviews
  http:
  - route:
    - destination:
        host: reviews
        subset: v1
      weight: 80
    - destination:
        host: reviews
        subset: v2
      weight: 20

4. Fault Injection

어플리케이션의 복원력에 대해서 확인하기 위해서 오류를 강제로 삽입할 수 있는 기능입니다.

다음 예제는 jason으로 로그인시 rating 서비스가 100%의 확률로 7초의 딜레이를 강제적으로 발생시키는 내용입니다.

# virtual-service-ratings-test-delay.yaml
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: ratings
spec:
  hosts:
  - ratings
  http:
  - match:
    - headers:
        end-user:
          exact: jason
    fault:
      delay:
        percentage:
          value: 100.0
        fixedDelay: 7s
    route:
    - destination:
        host: ratings
        subset: v1
  - route:
    - destination:
        host: ratings
        subset: v1

다음은 jason으로 로그인시 100%의 확률로 500에러를 발생하는 내용입니다.

# virtual-service-ratings-test-abort.yaml
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: ratings
spec:
  hosts:
  - ratings
  http:
  - match:
    - headers:
        end-user:
          exact: jason
    fault:
      abort:
        percentage:
          value: 100.0
        httpStatus: 500
    route:
    - destination:
        host: ratings
        subset: v1
  - route:
    - destination:
        host: ratings
        subset: v1  

5. Circuit Breaker

Circuit Breaker는 탄력적인 마이크로 서비스 애플리케이션을 만드는 데 중요한 패턴입니다. Circuit breaking을 사용하면 장애의 영향, 지연 시간 급증 및 기타 네트워크 특성의 바람직하지 않은 영향을 제한하는 애플리케이션을 작성 할 수 있습니다.

• 서비스 A -> B -> C의 구조에서 C가 장애가 발생을 하게 되면, B는 대기를 하게 되고 덩달아 A도 대기상태에 빠져 서비스 불능상태에 빠지게 됩니다. 하나의 장애가 다른 서비스들도 적체를 유발하여 장애가 전파됩니다.
• Circuit Breaker는 기능 자체가 동작하지 않는 경우에 Breaking을 통해 해당 서비스로 트래픽이 가지 않도록 차단을 하여 장애가 전파되지 않도록 하는데 목적이 있습니다.

6. 마치며..

이번시간에는 istio의 virtual host를 통해서 트래픽제어를 정리해봤습니다. istio를 잘만 활용하면, 수많은 MSA구조의 어플리케이션들 사이에서 적절하게 트래픽을 분배하고 라우팅을 할 수 있습니다. 이를 통해서 장애도 제어를 할 수 있을것 같다는 생각이 들었습니다.
다음시간에는 istio의 실제 적용 사례를 정리해보도록 하겠습니다.

The post [DevOps] Istio virtualhost 사용법 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번시간에는 Kiali라는 툴에 대해서 정리를 해보려고 합니다. DevOps 엔지니어로서 가장 중점을 두는 부분은 모니터링영역입니다. (물론 개인적인 생각입니다.) 모니터링을 잘 구성해두고 철저히 관찰하고 이상유무를 체크하게 된다면, 사이트의 신뢰도 자연스럽게 유지가 될 것입니다.

필자가 운영하는 프로젝트에서는 80-90 여개의 MSA 구조 어플리케이션들이 얽히고 섥혀서 연결이 되어있습니다. 마치 사슬 구조처럼 연결이 외어있는데 Istio는 이러한 서비스 메시 구조에서 네트웤영역을 담당해주는 오픈소스 입니다.

istio관련된 시리즈는 아래에서 확인이 가능합니다.

• istio 1편 : Istio란 무엇인가요?
• istio 2편 : Istio Traffic Tracing : Kiali
• istio 3편 : Istio virtualhost 사용법

Istio는 어플리케이션 pod에 side-car 형태로 붙어서 모든 네트워크의 입/출을 통제하고 관리하고 모니터링합니다. 여기서 수집된 정보들을 기반으로 Tracing을 해줄 수 있는것이 오늘 소개드리고자 하는 Kiali입니다.

1. Kiali 설치 과정

Kiali를 설치하기 이전에 Traffic정보를 수집할 수 있는 Prometheus가 필요합니다. 또한, Traffic Trace를 위해서는 Jaeger가 필요합니다.

Istio Addon을 통해서 설치

#istio를 다운로드 후, 설치
kubectl apply -f ${ISTIO_HOME}/samples/addons/kiali.yaml

Helm을 통해서 설치

helm install \
  --namespace istio-system \
  --set auth.strategy="anonymous" \
  --repo https://kiali.org/helm-charts \
  kiali-server \
  kiali-server

Nodeport로 서비스 변경

spec:
  ports:
    - name: http
      nodePort: 32763
      port: 20001
      protocol: TCP
      targetPort: 20001
    - name: http-metrics
      nodePort: 32762
      port: 9090
      protocol: TCP
      targetPort: 9090
  selector:
    app.kubernetes.io/instance: kiali-server
    app.kubernetes.io/name: kiali
  sessionAffinity: None
  type: NodePort

필자는 위의 내용을 간단하게 helm chart로 커스텀 구성을 완료 했습니다.

.
├── Chart.yaml
├── values.yaml
└── templates
    ├── crds
    │   └── crds.yaml
    └── templates
        ├── configmap.yaml
        ├── dashboards
        │   ├── envoy.yaml
        │   ├── go.yaml
        │   ├── kiali.yaml
        │   ├── micrometer-1.1-jvm.yaml
        │   ├── micrometer-jvm-pool.yaml
        │   ├── micrometer-jvm.yaml
        │   ├── microprofile-1.1.yaml
        │   ├── microprofile-x.y.yaml
        │   ├── nodejs.yaml
        │   ├── quarkus.yaml
        │   ├── springboot-jvm-pool.yaml
        │   ├── springboot-jvm.yaml
        │   ├── springboot-tomcat.yaml
        │   ├── thorntail.yaml
        │   ├── tomcat.yaml
        │   ├── vertx-client.yaml
        │   ├── vertx-eventbus.yaml
        │   ├── vertx-jvm.yaml
        │   ├── vertx-pool.yaml
        │   └── vertx-server.yaml
        ├── deployment.yaml
        ├── rolebinding-controlplane.yaml
        ├── rolebinding.yaml
        ├── role-controlplane.yaml
        ├── role-viewer.yaml
        ├── role.yaml
        ├── serviceaccount.yaml
        └── service.yaml

1) 기본 구성 파일

• configmap.yaml : kiali의 설정 파일
• deployment.yaml : kiali의 배포 파일
• service.yaml : kiali 서비스 구성 파일

2) 권한 제어

• Rolebinding-controlplane.yaml :
• rolebinding.yaml
• role-controlplane.yaml
• role.yaml
• role-viewer.yaml
• serviceaccount.yaml : k8s 클러스터내에 모든 영역에 대해서 조회가 가능한 계정

3) 대시보드 파일

• 대시보드에 대한 내용들을 yaml 파일로 관리합니다.
• 기본적으로 제공되는 대시보드들에 대해서 helmchart로 구성

2. Kiali 기본

인증 전략

Kiali의 인증전략은 여러가지가 존재합니다. 아래에서 참고 가능하지만, 아쉽게도 ID/PW를 적용하기 위해서는 오픈아이디커넥트(ex. Keycloak)를 적용해야 가능합니다. 따라서 필자는 token방식으로 설정을 해두었고, 토큰값으로 접근제어가 되도록 설정을 하였습니다.

인증 전략

spec:
  auth:
    strategy: token

설정을 하게 되면 최초 로그인시에 Token을 요구하게 됩니다. 이 token의 상단의 serviceaccount에서 생성된 secret 값으로 그대로 복사하여 사용을 하면 됩니다.

기본 네임스페이스 선택

기본적으로 Kiali에 처음 액세스할 떄 대부분의 Kiali 페이지에서 사용자는 네임스페이스 드롭다운을 사용하여 데이터를 보려는 NS를 선택해야 합니다. 이러한 부분을 미리 정의된 네임스페이스 선택을 구성할 수 있습니다.

spec:
  kiali_feature_flags:
    ui_defaults:
      namespaces:
      - istio-system

프로메테우스 구성

Kiali에서는 Prometheus가 토폴로지 그래프를 생성하고, 메트릭을 표시하고, 상태를 계산하고, 기타 기능들을 수행하기 위해 필요합니다.

기본적으로 Kiali는 Prometheus가 istio 추가 기능을 http://prometheus.:9090을 사용하고 있습니다. 만약 Prometheus가 다른 서비스 이름이 있거나 다른 네임스페이스에 있다면 아래와 같이 설정을 변경해야 합니다.

spec:
  external_services:
    prometheus:
      # Prometheus service name is "metrics" and is in the "telemetry" namespace
      url: "http://metrics.telemetry:9090/"

예거 구성

Kiali는 여러 기능에 대해 분산 추적 데이터를 사용하여 향상된 경험을 제공하기 떄문에 Jaeger는 적극 권장 되는 서비스 입니다.

기본적으로 Kiali는 Jaeger Istio 추가 기능을 http://tracing.:16685/jaeger를 사용합니다. 만약 다른 서비스 이름이 있거나 다른 네임스페이스에 설치된 경우 다음 예와 같이 변경을 해야 합니다.

spec:
  external_services:
    tracing:
      # Enabled by default. Kiali will anyway fallback to disabled if
      # Jaeger is unreachable.
      enabled: true
      # Jaeger service name is "tracing" and is in the "telemetry" namespace.
      # Make sure the URL you provide corresponds to the non-GRPC enabled endpoint
      # if you set "use_grpc" to false.
      in_cluster_url: 'http://tracing.telemetry:16685/jaeger'
      use_grpc: true
      # Public facing URL of Jaeger
      url: 'http://my-jaeger-host/jaeger'

Traffic Health

Health

아래 예시처럼, 예를들어 에러 율이 0.1% 이상이면 Degraded상태를 10%이상이면 Failure상태를 표기합니다.

# ...
  health_config:
    rate:
      - namespace: ".*"
        kind: ".*"
        name: ".*"
        tolerance:
          - code: "^5\\d\\d$"
            direction: ".*"
            protocol: "http"
            degraded: 0
            failure: 10
          - code: "^4\\d\\d$"
            direction: ".*"
            protocol: "http"
            degraded: 10
            failure: 20
          - code: "^[1-9]$|^1[0-6]$"
            direction: ".*"
            protocol: "grpc"
            degraded: 0
            failure: 10
# ...

Priority	Rule (value=% matching requests)	Status
1	value >= FAILURE threshold	FAILURE
2	value >= DEGRADED threshold AND value < FAILURE threshold	DEGRADED
3	value > 0 AND value < DEGRADED threshold	HEALTHY
4	value = 0	HEALTHY
5	No traffic	No Health Information

3. Kiali 기능 정리

서비스 작업

Traffic management : 라우팅 요청

• 모든 규칙은 요청에 대해서 일치하는 경우와 라우팅 대상으로 구성이 됩니다.
• 요청 일치 부분은 Header, Uri, Scheme, Method를 사용하여 여러 필터를 추가 할 수 있습니다.
• 요청 일치 부분은 비어있을 수 있습니다. 이 경우 모든 HTTP 요청이 규칙에 적용됩니다.
• 라우팅 대상은 라우팅 되는 트래픽의 비율을 지정할 수 있습니다.

Traffic management : 오류 주입

고의적으로 결함을 주입하여, 서비스의 탄력성을 테스트할 수 있습니다.

• HTTP 지연 사양은 요청 전달 경로에 대기 시간을 주입한은데 사용됩니다.
• HTTP 중단 사양은 요청을 즉시 중단하고 미리 지정된 상태 코드를 반환하는 데 사용합니다.

Traffic management : 트래픽 이동

추후 canary 배포 혹은 blue/green 이용시 활용할 수 있는 부분으로 트래픽을 설정을 통해서 Weight를 줄 수 있습니다.

Traffic management : 요청 시간 초과

Istio를 사용하여 Timeout 설정을 지정할 수 있습니다.

• HTTP 시간 초과는 요청에 대한 시간 초과를 정의합니다.
• HTTP 재시도는 HTTP 요청이 실패할 때 사용할 재시도 정책을 설명합니다.

Traffic management : 회로 차단기

• 연결 풀은 업스트림 호스트에 대한 연결 제한을 정의합니다.
• 이상값 감지는 보고된 연속 오류를 기반으로 회로 차단기를 구현합니다.

4. Tracing 이란

Kiali는 Jaeger for Distributed Tracing과의 기본 통합을 제공합니다. 따라서 사용자는 Jaeger의 추적 시각화에 액세스 할 수 있습니다.

워크로드 세부 정보

워크로드를 조사할 때 추적 탭을 클릭하여 차트에서 추적을 시각화 합니다. 추적을 선택하면 Kiali는 추적 세부 정보에 대한 탭과 범위 세부 정보데 대한 탭을 제공합니다. Kiali는 히트맵 접근 방식을 사용하여 사용자가 문제 추적 또는 범위를 식별하는데 도움을 줍니다.

히트맵

워크로드의 추적 탭에 표시되는 히트맵은 특정 추적의 요청 시간을 시간에 따라 집계된 기간 메트릭과 비교하는 메트릭입니다.

위의 히트맵의 오른쪽 상단 셀은 추적이 나타내는 요청 기간(5.96ms)이 지난 10분 이내에 워크로드에 대한 모든 인바운드 요청의 99번째 백분위수보다 17.5ms 더 빨랐음을 보여줍니다.

셀의 색상 범위는 빨간색과 녹색 사이입니다. 셀이 더 녹색이면 추적 기간이 집계 메트릭 데이터와 비교하여 더 빠릅니다. 빨간색 셀은 연결된 추적이 집계 메트릭 데이터에 비해 훨씬 느리므로 해당 추적을 검사하면 잠재적인 병목 현상이나 문제를 감지하는 데 도움이 될 수 있음을 나타냅니다.

메트릭 상관 관계

Kiali는 메트릭 차트에서 스팬 오버레이를 제공합니다. 사용자는 오버레이 생성 옵션을 활성화하여 spans 을 클릭한 뒤, 추적에 초첨을 맞춘 추적 탭으로 자동으로 이동 됩니다.

그래프 상관 관계

그래프에서 노드를 선택하면 측면에 패널이 나타납니다. 트레이스를 선택하면 그래프는 트레이스 범위에 대한 오버레이를 표시합니다. 그리고 측면 패널은 스팬 세부 정ㅈ보를 표시하고 추적 세부 정보 보기에 대한 링크를 제공합니다.

로그 상관 관계

Kiali는 로그 및 추적 정보에 대한 통합 보기를 제공할 수 있어 사용자가 관심 있는 추적을 식별하기 위해 로그를 사용할 수 있습니다. 옵션을 활성화하면 spansKiali는 워크로드 로그 보기에 추적 항목을 추가합니다. 아래에서 시간 정렬된 순서로 사용자에게 애플리케이션 로그(흰색), Envoy 프록시 로그(금색) 및 추적 공간(파란색)의 통합 보기가 표시됩니다. 관심 범위를 클릭하면 관심 추적에 대한 세부 정보 보기로 이동합니다.

5. 마치며..

kiali를 통해서 네트워크 트래픽에 대한 흐름을 한 눈에 확인 할 수 있었습니다. istio의 기능을 이용하여 트래픽 제어를 손쉽게 할 수 있을뿐 더러, MSA 구조의 복잡한 구조에서 트래픽이 어디서 어디로 흘러가는 지 바로 확인 할 수 있는 점이 너무 좋았습니다.

다음시간에는 istio의 기능들에 대해서 하나씩 정리를 해보도록 하겠습니다.

The post [DevOps] Istio Traffic Tracing : Kiali appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

• [Kubernetes] Cronjob 구성하기

1. Cronjob metric

• kube_job_complete : 실행 결과가 completed인 상태의 job 갯수
• kube_job_created : 실행 시간에 대한 Unix timestamp
• kube_job_failed : 실행 결과가 failed인 상태의 job 갯수
• kube_job_info : Job에 대한 정보
• kube_job_labels : k8s에서 prometheus로 변환된 label 정보

kube_job_complete{condition="false", job="test-kube-metric", job_name="test-1663646400", namespace="test", project="test-kube-metric", service="test-monitoring"}
0
kube_job_complete{condition="true", job="test-kube-metric", job_name="test-1663646400", namespace="test", project="test-kube-metric", service="test-monitoring"}
1
kube_job_complete{condition="unknown", job="test-kube-metric", job_name="test-1663646400", namespace="test", project="test-kube-metric", service="test-monitoring"}
0

kube_job_failed{condition="false", instance="lnlnklbd1502:31000", job="test-kube-metric", job_name="test-1663729200", namespace="test", project="test-kube-metric", service="test-monitoring"}
0
kube_job_failed{condition="true", instance="lnlnklbd1502:31000", job="test-kube-metric", job_name="test-1663729200", namespace="test", project="test-kube-metric", service="test-monitoring"}
1
kube_job_failed{condition="unknown", instance="lnlnklbd1502:31000", job="test-kube-metric", job_name="test-1663729200", namespace="test", project="test-kube-metric", service="test-monitoring"}
0

• kube_job_status_active : 구동중인 job에 대한 pod의 갯수
• kube_job_status_completion_time : job이 completed된 시간을 출력.
• kube_job_status_failed : 실패에 대한 이유와 Failed된 pod의 갯수
• kube_job_status_start_time : Job manager에 의해 job이 시작된 시간을 출력
• kube_job_status_succeeded : Completed된 pod의 갯수

kube_job_status_succeeded{job="test-kube-metric", job_name="test-1663642800", namespace="test", project="test-kube-metric", service="test-monitoring"}
1

kube_job_status_failed{job="test-kube-metric", job_name="test-1663729200", namespace="test", project="test-kube-metric", reason="BackoffLimitExceeded", service="test-monitoring"}
1

2. Cronjob dashboard

• 전체 수행중인 Overview 화면
• 현재 실행중인 Job의 갯수
• 현재 완료된 Job의 갯수
• 현재 실패한 Job의 갯수

전체 Job 정보

sum(kube_job_info{farm="test-farm"})

완료된 Job 정보

count(kube_job_complete{farm="test-farm"}==1)

수행중인 Job 정보

sum(kube_job_status_active{farm="test-farm"})

실패한 Job 정보

count(kube_job_failed{farm="link-beta-kube-metric-farm"}==1)

• Overview
• A Service 에대한 Cronjob
• B Service 에 대한 Cronjob

3. Cronjob Alert 구성

실패한 Job 정보

kube_job_failed{farm="beta-farm", job_name=~".*-payment-.*"}==1

4. Cronjob 개선 내용

• A Cronjob
  • 실패
  • 실패
  • ….
  • 성공

#0. assign variable
LAST_JOB_NAME=""
LAST_CRON_NAME=""
LAST_STATUS=""
NEXT_JOB_NAME=""
NEXT_CRON_NAME=""
NEXT_STATUS=""
LOOPCOUNT=1
DEL_JOB_ARR=()
ARR=()

checkLastStatus() {
  if [[ "$LAST_STATUS" == "Complete" && ${#DEL_JOB_ARR[@]} -gt 0 ]]; then
  ### Failed -> pass && celar DEL_JOB_ARR
    CMD=`kubectl delete job "${DEL_JOB_ARR[@]}"`
    echo $CMD
  fi
  ### Complete -> delete all value from array
  DEL_JOB_ARR=()
}

#1. read line
#IFS=$'\n' read -ra ARR -d $'\0' <<< "$TEXT"

ARR=`kubectl get job -o json | jq -r '.items[] | .metadata.name + ":" + (select ( .status | has("conditions")) | .status.conditions[] | select(.status == "True") .type )'`
LASTCOUNT=${#ARR[@]}

for line in ${ARR[@]}
do
    #1. start loop
    if [[ $LOOPCOUNT -eq 1 ]]; then
        LAST_JOB_NAME=`echo $line | awk -F: '{print $NR}'`
        LAST_STATUS=`echo $line | awk -F: '{print $NF}'`
        LAST_CRON_NAME=`echo ${LAST_JOB_NAME::-11}`
        LOOPCOUNT=2
        continue
    fi

    #2. assign variable -> last, next
    NEXT_JOB_NAME=`echo $line | awk -F: '{print $NR}'`
    NEXT_STATUS=`echo $line | awk -F: '{print $NF}'`
    NEXT_CRON_NAME=${NEXT_JOB_NAME::-11}

    #3. compare
    if [[ "$LAST_CRON_NAME" == "$NEXT_CRON_NAME" ]]; then
    ### next == last then check last status
      ### last -> array
      DEL_JOB_ARR=("${DEL_JOB_ARR[@]}" "$LAST_JOB_NAME")
    else
    ### next != last then check last status
      checkLastStatus
    fi

    #4. update laste value for next
    LAST_JOB_NAME=$NEXT_JOB_NAME
    LAST_STATUS=$NEXT_STATUS
    LAST_CRON_NAME=$NEXT_CRON_NAME

    #5. increase loop count
    ((LOOPCOUNT=LOOPCOUNT+1))

    #6. last loop
    if [[ $LOOPCOUNT -eq $LASTCOUNT+1 ]]; then
      checkLastStatus
    fi
done

5. 마치며…

함께 보면 좋은 글

• [Kubernetes] Autoscaling 사용하기
• [Monitoring] Grafana Alert 셋팅
• [Kubernetes] Cronjob 구성하기
• [DevOps] Kubernetes HPA 실전 적용

The post [Kubernetes] K8S Cronjob Monitoring appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. k8s에서의 Request와 Limit이란?

• Request : 컨테이너에 필요한 최소 리소스양을 정의 -> pod가 스케쥴링 되는 방식에 영향
• Limit : 컨테이너가 사용할 수 있는 최대 리소스 양을 정의
• CPU: Unless your app is specifically designed to take advantage of multiple cores (scientific computing and some databases come to mind), it is usually a best practice to keep the CPU request at ‘1’ or below, and run more replicas to scale it out. This gives the system more flexibility and reliability.
• Memory : Mbyte 단위

resources:  
    requests:    
        cpu: 5
        memory: 10Gi
    limits:    
        cpu: 5
        memory: 10Gi

Qos Classes of k8s PODs

• 서비스 품질(Qos)는 스케쥴러가 pod의 스케쥴링 및 제거 우선순위를 결정하는데 사용하는 kubernetes 개념입니다.

• 종료 우선순위 : Base Effort > Burstable > Guaranteed
  • 예를들어, Node에 메모리가 부족하게 되면, 종료를 하여 메모리를 확보

2. k8s 리소스 최적화 방안

• CPU 기준
  • .5 core 공통 적용
  • 구글에서 가이드하는 문서를 따름.
• Memory 기준
  • 1Gi 미만 : 2Gi
  • 1Gi 이상 2Gi 미만 : 3Gi
  • 2Gi 이상 3Gi 미만 : 4Gi
  • 3Gi 이상 : 5Gi

3. 최적화 진행한 맞이한 문제들

어플리케이션 기동을 위한 최소한의 CPU

JVM사용을 위한 최소한의 Memory

항상 컨테이너에 최소 25% 더 많은 메모리를 할당해야 합니다(예: ‘-m’). 힙 크기 값보다. -Xmx 값을 2GB로 구성한 다음 컨테이너의 메모리 크기를 2.5GB 이상으로 구성했다고 가정합니다. 힙 공간 외에도 애플리케이션에는 Java 스레드, 가비지 컬렉션, 메타 공간, 기본 메모리, 소켓 버퍼를 위한 공간이 필요합니다. 이러한 모든 구성 요소에는 할당된 힙 크기를 초과하는 추가 메모리가 필요합니다

• pod 2.5Gi -> jvm 2Gi
• pod 3.5Gi -> jvm 3Gi
• pod 4.5Gi -> jvm 3Gi
• pod 5.5Gi -> jvm 4Gi

4. 결과

AS-IS

TO-BE

5. 마치며…

6. 참조

Kubernetes Resource Request와 Limit의 이해

함께 보면 좋은 글

• [DevOps] kubeadm upgrade를 통한 pod cidr 변경
• [DevOps] Nginx Rate Limit
• [DevOps] Hubot 적용기
• [DevOps] k8s monitoring with Datadog

The post [DevOps] K8S Resource 최적화 사례 appeared first on WONIZZ.LOG.