[Log] 로그를 파일로 출력하고 관리하기: 카프카와 S3를 활용한 로깅 애플리케이션 실습

[Log] 로그를 파일로 출력하고 관리하기: 카프카와 S3를 활용한 로깅 애플리케이션 실습

로그를 파일로 출력하고 관리하기🟡 고려할 점카프카를 활용하는 경우, 각 애플리케이션에서 로그가 발생하면 카프카에게 전달하고, 카프카는 로그를 기록하는 애플리케이션에 이를 전달하는 방식을 취할 수 있다.1) 로그 저장의 중요성로그는 문제 분석과 성능 점검에 활용되므로, 파일이나 데이터베이스에 저장해 분석 가능하도록 해야 한다. 콘솔 출력만으로는 장기 보관과 통합 관리가 어렵다.2) 다중 서버 환경의 문제점애플리케이션이 여러 대의 서버에 배포되면 로그가 분산되며, 이를 수집하고 병합하는 과정이 번거롭다. 특히, 각 서버의 로그 형식이나 시간대 차이로 일관성 문제가 생길 수 있다.3) 중앙 로그 관리의 필요성다중 노드 환경에서는 로그를 통합 관리할 시스템이 필요하다. 이를 통해 모든 서버의 로그를 한곳에 모..

  • format_list_bulleted 클라우드 스쿨/로그관리&모니터링
  • · 2024. 12. 12.
카프카로부터 메시지를 받아서 S3에 업로드하는 애플리케이션 구현: Spring Boot, Kafka, AWS S3

카프카로부터 메시지를 받아서 S3에 업로드하는 애플리케이션 구현: Spring Boot, Kafka, AWS S3

카프카로부터 받은 로그 메시지를 S3에 업로드하는 애플리케이션카프카를 이용한 로그 전송 애플리케이션 구현: Spring Boot, Kafka지난 글에서는 카프카를 이용하여 로그 메시지를 전송하는 애플리케이션을 구현했습니다.이번 글에서는 카프카로부터 로그 메시지를 받아 파일로 저장한 후, 이를 AWS S3에 업로드하는 Spring Boot 애플리케이션을 구현하겠습니다.실습 소스코드Github 실습 레포: spring-logging-with-kafka > LogtoS3 폴더 참고 GitHub - Autoever-mobility-cloud-school/spring-logging-with-kafka: Spring Boot와 Kafka를 이용한 로깅 애플리케이션Spring Boot와 Kafka를 이용한 로깅 애플..

  • format_list_bulleted 클라우드 스쿨/로그관리&모니터링
  • · 2024. 12. 12.
카프카를 이용한 로그 전송 애플리케이션 구현: Spring Boot, Kafka

카프카를 이용한 로그 전송 애플리케이션 구현: Spring Boot, Kafka

카프카를 이용한 로그 전송 애플리케이션 구현하기Github 실습 레포: https://github.com/bestlalala/spring-logging-with-kafka.git > LogSend 폴더이번 섹션에서는 Spring 애플리케이션에서 카프카를 사용하여 로그 메시지를 전송하는 방법을 알아보겠습니다.이 실습에서는 Spring Boot와 Apache Kafka를 활용하며, 로그를 특정 카프카 토픽으로 전송하는 기능을 구현합니다.이를 위해 필요한 의존성과 카프카 설정을 추가하고, 실제 메시지를 전송하는 애플리케이션을 구현하겠습니다. 애플리케이션 아키텍처1) 의존성 추가먼저, 로그 전송을 위한 의존성을 pom.xml 파일 또는 build.gradle 파일에 추가한다. 필요한 의존성은 다음과 같다:Dep..

  • format_list_bulleted 클라우드 스쿨/로그관리&모니터링
  • · 2024. 12. 12.
카프카(Kafka) 이용하여 메시지 주고받기

카프카(Kafka) 이용하여 메시지 주고받기

🔵 카프카 로깅 애플리케이션 초기 설정Kafka는 대용량 데이터를 빠르게 처리하고 실시간으로 분석할 수 있는 분산 메시징 시스템이다. 이번 글에서는 Kafka를 활용한 로깅 애플리케이션을 설정하는 방법을 단계별로 알아볼 것이다. 실습은 AWS EC2 인스턴스 환경에서 진행되었으며, Kafka 설치부터 메시지 전송 및 수신 테스트까지 다룬다. 1) EC2 인스턴스 생성 및 연결먼저, EC2 인스턴스를 생성하고 연결한다.카프카를 실행하기 위해서는 메모리가 4GB 이상이어야 하기 때문에, t2.medium으로 생성했다. 권장 시스템 요구 사항최소 메모리: 4GB 이상 (작은 규모의 클러스터 및 낮은 트래픽)권장 메모리: 8GB 이상 (중간 규모의 클러스터 및 트래픽 처리 시)대형 클러스터/고용량 처리 시: ..

  • format_list_bulleted 클라우드 스쿨/로그관리&모니터링
  • · 2024. 12. 12.
[모니터링] 프로메테우스와 Golang을 활용한 Metric 출력 실습

[모니터링] 프로메테우스와 Golang을 활용한 Metric 출력 실습

Prometheus와 Golang을 활용한 Metric 출력 실습[모니터링] 메트릭(Metric) 유형과 관리 방안 [모니터링] 메트릭(Metric) 유형과 관리 방안Metric 및 관측 가능성시스템의 안정성과 성능을 유지하기 위해, 우리는 시스템을 모니터링하고 관측할 수 있는 다양한 메트릭을 설정하고 관리해야 합니다.이러한 메트릭은 시스템의 상태를 정ynslee627.tistory.com지난 글에서 메트릭의 유형과 관리 방안에 대해서 알아보았는데요, 이어서 이번 시간에는 프로메테우스와 Go 언어를 활용하여 메트릭을 출력해보는 실습을 진행하였습니다.실습은 AWS EC2 인스턴스 환경에서 애플리케이션을 실행하며, Go 언어를 활용해 Prometheus 포맷으로 데이터를 출력하는 과정을 학습합니다.Prome..

  • format_list_bulleted 클라우드 스쿨/로그관리&모니터링
  • · 2024. 12. 9.

[모니터링] 메트릭(Metric) 유형과 관리 방안

Metric 및 관측 가능성시스템의 안정성과 성능을 유지하기 위해, 우리는 시스템을 모니터링하고 관측할 수 있는 다양한 메트릭을 설정하고 관리해야 합니다.이러한 메트릭은 시스템의 상태를 정확하게 파악하고, 장애를 사전에 예측하며, 이를 통해 효과적인 대응을 가능하게 합니다.이번 글에서는 메트릭의 주요 유형과 이를 어떻게 활용할 수 있는지, 그리고 시스템 관측 가능성을 높이는 방법에 대해 다뤄보겠습니다.  1) 가용성 (Availability)가용성은 시스템의 전반적인 상태와 정상 작동 여부를 거시적 관점에서 측정하고, 이를 SLI(Service Level Indicator)로 정량화하는 개념이다.SLI는 서비스 수준 목표인 SLO(Service Level Objective)를 달성해야 하며, 이는 SLA..

  • format_list_bulleted 클라우드 스쿨/로그관리&모니터링
  • · 2024. 12. 9.
728x90
반응형