ILM2 Elasticsearch 대량 데이터 효과적 운영을 위한 핫 & 콜드 데이터 관리 Elasticsearch 방대한 양의 데이터를 효과적으로 운영하기 위한 핫 데이터와 콜드 데이터 관리 방식운영 환경에서 대량의 로그 데이터를 수집하고 관리할 때, 성능 최적화와 비용 효율성을 위해 데이터를 핫 데이터(자주 조회되는 최신 데이터)와 콜드 데이터(빈도 낮은 오래된 데이터)로 분류하여 관리하는 전략을 사용할 수 있습니다.핫 데이터와 콜드 데이터 분류 전략핫 데이터(Hot Data)정의: 최근 수집된 데이터로, 조회 빈도가 높고 빠른 검색 성능이 필요한 데이터입니다.저장 위치: Elasticsearch의 빠른 검색 인덱스에 저장합니다.관리: 주로 Elasticsearch의 기본 노드에 저장되며, 고성능 디스크를 사용합니다.콜드 데이터(Cold Data)정의: 일정 기간이 지난 후 접근 빈도가 낮.. 2024. 11. 5. Elasticsearch 영구적인 RDBMS 구성으로 전통적인 CRUD 작업 수행 Elasticsearch에서 로그 데이터를 저장하고 일정 기간이 지나면 자동으로 삭제되는 방식과는 다르게, 영구적으로 데이터를 저장하고 RDBMS처럼 검색하고 활용하는 방법에 대해 설명드리겠습니다.인덱스 설정 및 매핑 구성영구적으로 데이터를 저장하려면 인덱스의 매핑과 설정을 적절히 구성해야 합니다. 특히, 로그 방식과는 다르게, 검색 및 분석에 최적화된 매핑을 설정하는 것이 중요합니다.PUT /my_persistent_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { "properties": { "timestamp": { "type": "date" },.. 2024. 8. 2. 이전 1 다음 728x90
