본문 바로가기

JQ4

JSON 데이터를 각각의 객체로 분할하여 형식을 변환하는 jq 명령어 { "BEGIN": { "type": "text", "fields": { "float": { "type": "float", "ignore_malformed": true }, "keyword": { "type": "keyword", "ignore_above": 128 } } }, "END": { "type": "text", "fields": { "float": { "type": "float", "ignore_malformed": true }, "keyword": { "type": "keyword", "ignore_above": 128 } } }, ... } 위 형태의 JSON 데이터 객체를 분리하여 아래처럼 바꾸기 위한 jq 명령어에 대한 예시입니다. { "BEGIN" : ... } { "END": ..... 2024. 2. 19.
HTML 코드에서 데이터 추출하여 JSON 형식 변환 HTML 코드에서 데이터를 추출하여 JSON 형식으로 변환하는 작업을 수행합니다. 이를 간소화하려면 정규 표현식을 사용하는 대신 더 구조화된 방법을 사용하는 것이 좋습니다. 다음은 Python을 사용하여 같은 작업을 수행하는 방법입니다. Python은 정규 표현식 대신 BeautifulSoup과 같은 라이브러리를 사용하여 HTML 파싱을 더 쉽게 할 수 있습니다. from bs4 import BeautifulSoup import re import json html = """ 여기에 HTML 코드를 입력하세요 """ soup = BeautifulSoup(html, 'html.parser') data = [] for row in soup.find_all('tr'): # 'tr' 태그를 포함하는 모든 행을 찾.. 2023. 9. 23.
ipTIME 공유기 트래픽사용량 수집정보 JSON 형식 변환 및 통계 그래프 ipTIME 공유기에 연결된 내부(LAN) 및 외부(WAN) 링크에 대한 트래픽 사용량 정보를 수집하여 도식화 했습니다. 공유기 관리자 페이지를 크롤링하면 텍스트 형태로 정보를 가져와서 JSON 형식으로 변환하여 통계화를 해봤는데, jq 명령어를 활용하니 손쉽게 변환할 수 있었습니다. WAN 링크의 트래픽 정보를 수집하면 아래와 같이 텍스트 형태 정보를 확보할 수 있습니다. "Rx_Packets": "648233790" "Rx_Bytes": "617839018055" "Rx_Broadcast": "63695556" "Rx_Multicast": "399605" "Rx_Discard": "295574" "Rx_Error": "0" "Tx_Packets": "310319281" "Tx_Bytes": "1268.. 2023. 9. 19.
jq 필터로 JSON 정렬하기 jq는 커맨드 라인 상에서 JSON 데이터를 필터링하고 가공하는 강력한 도구입니다. JSON 데이터를 정렬하기 위해서는 다음과 같이 jq 필터를 사용할 수 있습니다. 예시를 위해 다음과 같은 JSON 데이터가 있다고 가정하겠습니다. [ { "name": "Alice", "age": 30 }, { "name": "Bob", "age": 25 }, { "name": "Eve", "age": 35 } ] 이름(name)을 기준으로 오름차순 정렬: cat data.json | jq 'sort_by(.name)' 출력 결과: [ { "name": "Alice", "age": 30 }, { "name": "Bob", "age": 25 }, { "name": "Eve", "age": 35 } ] 이름(name)을 기.. 2023. 7. 27.