본문 바로가기

indexing2

Elasticsearch 영구적인 RDBMS 구성으로 전통적인 CRUD 작업 수행 Elasticsearch에서 로그 데이터를 저장하고 일정 기간이 지나면 자동으로 삭제되는 방식과는 다르게, 영구적으로 데이터를 저장하고 RDBMS처럼 검색하고 활용하는 방법에 대해 설명드리겠습니다.인덱스 설정 및 매핑 구성영구적으로 데이터를 저장하려면 인덱스의 매핑과 설정을 적절히 구성해야 합니다. 특히, 로그 방식과는 다르게, 검색 및 분석에 최적화된 매핑을 설정하는 것이 중요합니다.PUT /my_persistent_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { "properties": { "timestamp": { "type": "date" },.. 2024. 8. 2.
Elasticsearch Bulk 통한 indexing 중 Limit of total fields 오류 해결 elasticsearch7.helpers.errors.BulkIndexError: ('26 document(s) failed to index.', 이하생략 이 오류는 Elasticsearch에 문서를 색인하려고 할 때 발생한 문제로, 총 필드 수 제한을 초과했다는 것을 나타냅니다. 에러 메시지에서 "Limit of total fields [10000] has been exceeded while adding new fields [2]"라고 나와 있습니다. Elasticsearch에서는 기본적으로 한 인덱스 내 전체 필드 수를 10000개로 제한하고 있으며, 현재 추가하려는 문서에서는 2개의 새로운 필드를 추가하려다가 이 제한을 초과하게 되었습니다. 이 문제를 해결하기 위해서는 몇 가지 방법이 있습니다. 필.. 2024. 1. 30.
728x90