서버구축 (WEB,DB)302 실시간 파이프라인 데이터 수집을 위한 Logstash의 grok 필터 설정 실시간 파이프라인(Real-time Data Pipeline) 기능을 통한 데이터 수집을 위해 로그 메시지를 구문 분석하고 필드를 추출하기 위한 Logstash의 grok 필터 설정 부분에 대해서 아래 예제 코드를 통해서 각 부분별로 정리해보고자 합니다. #Initial log extraction mutate { gsub => ["message", "([\\w]+)Usuario:", "$1 Usuario:"] } grok { match => { "message" => [ "()?%{GREEDYDATA:ts} %{HOSTNAME:.. 2024. 5. 2. Puppeteer 통한 웹사이트 컨텐츠 및 스크린샷 이미지 생성 n8n 자동화 웹사이트를 캡처하여 이미지로 저장하는 기능은 Python에서 Selenium과 WebDriver를 사용하면 쉽게 구현할 수 있습니다. 시스템 성능이나 트래픽 등 모니터링 대시보드의 도식화 화면을 캡처하여 슬랙으로 전송하는 자동화를 구현할 수 있습니다. 우선 그 과정 중 유형들에 대한 과정을 설명한 코드 예시와 함께 정리해 보고자 합니다. 필요한 라이브러리 설치Selenium: pip install seleniumWebDriver (예: ChromeDriver) 다운로드: ChromeDriver 코드 예시from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome i.. 2024. 4. 27. SSH 인증 보안 강화를 위한 단기 SSH 인증서를 이용한 접근 관리 Short-lived SSH certificates는 보안성을 강화하기 위해 임시로 발급되는 인증서를 사용하여 SSH 접속을 제어하는 방법입니다. 이러한 인증서를 통해 사용자는 정해진 시간 동안만 서버에 접속할 수 있으며, 인증서의 유효 기간이 만료되면 자동으로 접속이 불가능해집니다. 이 방식은 공격자가 인증 정보를 탈취하더라도 인증서의 짧은 수명으로 인해 무력화시킬 수 있는 효과적인 보안 조치입니다. 여기 소개된 오픈소스 도구들은 이러한 Short-lived SSH 인증서를 쉽게 발급하고 관리할 수 있게 해주며, 각각의 도구가 제공하는 주요 기능과 사용법에 대해 알아보겠습니다. Smallstep SSH 소개: Smallstep은 인증서 기반의 보안 솔루션을 쉽게 구현할 수 있도록 돕는 도구로, SSH .. 2024. 4. 18. Airflow Workflow 관리 고도화 및 문제 대응 기술적인 전략과 노하우 Apache Airflow를 통한 데이터 파이프라인 관리는 고도의 기술적 이해와 운영 노하우를 요구합니다. 실제 운영 과정에서 발견되는 다양한 문제들에 대한 체계적이고 실용적인 대응 방안은 시스템의 안정성을 보장하고, 효율적인 운영을 가능하게 합니다. 아래는 Airflow 운영을 고도화하고, 주요 문제에 대응하는 방안에 대한 종합적인 유형입니다. Airflow 운영 고도화 및 문제 대응 전략 1. 리소스 관리 최적화 동적 리소스 할당: Airflow의 동적 리소스 할당 기능을 활용하여, 실행 중인 Task의 수와 유형에 따라 필요한 리소스를 동적으로 할당합니다. 이를 위해 KubernetesExecutor를 사용하면, 각 Task에 필요한 CPU와 메모리를 Task 정의 시 지정할 수 있습니다. Airf.. 2024. 4. 11. Nginx와 Keycloak 통한 애플리케이션 OIDC 메커니즘 클라이언트 인증 API 호출을 인증하는 여러 방법이 있지만, OAuth 2.0 인증 메커니즘이 주로 사용됩니다. 여기서 OAuth 2.0 액세스 토큰은 클라이언트로부터 API 서버로 전달되는 인증 자격 증명으로, 대개 HTTP 헤더로 운반됩니다. Keycloak은 OAuth 2.0의 확장인 OIDC를 지원하며, 클라이언트를 인증할 때 IdP(신원 제공자)로 작동합니다. IdP와 액세스 토큰의 유효성을 확인하는 표준 방법을 토큰 인트로스펙션(token introspection)이라고 합니다. Nginx는 OAuth 2.0 의존 파티로서, IdP에 액세스 토큰을 보내 유효성을 검사(토큰 인트로스펙션)하고, 검증을 통과한 요청만을 프록시합니다. 그렇다면 왜 Nginx에서 토큰 유효성 검사를 수행할까요? 각 백엔드 서비스나 애.. 2024. 4. 10. 이전 1 2 3 4 ··· 61 다음
