본문 바로가기

프로그램 (PHP,Python)317

728x90
Botasaurus 스크래핑 프레임워크로 쉽고 재미있게 웹 데이터 추출하기 웹 스크래핑은 현대 데이터 분석과 웹 자동화에서 필수적인 도구입니다. 하지만 복잡한 설정과 코딩으로 인해 처음 시작하는 분들에게는 어려움이 따를 수 있습니다. Botasaurus는 이러한 문제를 해결하기 위해 탄생한 혁신적인 프레임워크로, 웹 스크래핑을 쉽고 효율적이며 재미있게 만들어줍니다. Botasaurus의 주요 기능과 실제 활용 방법을 예시를 통해 설명합니다.Botasaurus의 주요 기능UI 기반 스크래퍼: 몇 분 만에 어떤 웹 스크래퍼든 UI 기반 스크래퍼로 변환할 수 있습니다.봇 감지 우회: 모든 봇 테스트를 문제 없이 통과할 수 있습니다.쉬운 병렬화: 비동기 및 병렬 스크래핑을 간단하게 만듭니다.유틸리티: 캐싱, 사이트맵, 데이터 정리 등 다양한 유틸리티를 제공합니다.확장성: Kuberne.. 2024. 10. 16.
n8n에서 QuickChart 노드 사용하여 데이터 시각화 차트생성 자동화 n8n에서 QuickChart 노드를 사용하여 일별 수치 정보를 차트로 시각화하는 방법입니다. QuickChart는 다양한 유형의 차트를 쉽게 생성할 수 있는 도구입니다.1. Google Sheets 노드 설정Google Sheets 노드를 추가합니다.OAuth2 Credentials를 설정합니다.Operation을 Read로 설정합니다.Sheet ID와 Range를 설정하여 일별 수치 정보를 가져옵니다.2. 데이터 처리 노드 설정Set 노드를 추가하여 가져온 데이터의 형식을 맞춥니다.Property Name에 원하는 이름을 지정하고 Value에 가져온 데이터의 열을 매핑합니다.Function 노드를 사용하여 데이터를 QuickChart에서 사용할 수 있는 형식으로 변환합니다.Function Code 예.. 2024. 10. 13.
Google Apps Script 통해 직접 작성한 코드를 자동화 수행 Google Apps Script를 사용하여 Google Workspace 정보를 수집할 때는 코드 상에서 직접적으로 토큰 관리나 인증 관련 로직을 작성할 필요가 없습니다. Google Apps Script는 기본적으로 Google의 OAuth 2.0 인증을 자동으로 처리해 주기 때문에, 스크립트를 작성하는 동안 다음과 같은 사항을 신경 쓸 필요가 없어 간편하게 활용할 수 있습니다.토큰 관리: OAuth 2.0 인증 토큰을 직접 발급하거나 갱신할 필요가 없습니다. Google Apps Script 환경에서 이러한 작업은 자동으로 처리됩니다.인증 요청: 첫 실행 시 사용자에게 필요한 권한을 요청하는 동의 화면이 나타나며, 사용자가 이를 승인하면 이후 스크립트는 해당 권한으로 API에 접근하게 됩니다.인증 .. 2024. 9. 18.
Atlassian API 활용한 Confluence WIKI 문서 작업 자동화 Confluence WIKI에 있는 표 형태의 내용 중 특정 필드의 값을 업데이트하는 작업을 n8n을 통해 자동화하려면 다음 단계를 따라야 합니다. 여기서는 Confluence API를 사용하여 표 데이터를 가져오고 업데이트하는 방법에 대한 설명입니다.사전 준비Confluence API Token 생성Confluence 계정으로 로그인하여 API 토큰을 생성합니다. Confluence API Token 생성 링크n8n 설치 및 설정n8n을 설치하고 실행합니다. (자세한 설치 방법은 n8n 공식 문서를 참고하세요.)n8n Workflow 작성HTTP Request Node 추가 (Confluence에서 페이지 데이터 가져오기)HTTP Request 노드를 추가하고 설정을 다음과 같이 합니다.Method: .. 2024. 9. 9.
회의(대화) 음성 녹음을 텍스트로 변환(STT)하는 방법 음성 녹음을 텍스트로 변환(TTS: Text-to-Speech의 반대인 STT: Speech-to-Text)을 하는 방법에는 여러 가지가 있습니다. 아래에는 이를 구현하는 몇 가지 방법을 설명합니다.방법 1: Google Cloud Speech-to-Text API 사용Google Cloud의 Speech-to-Text API는 매우 높은 정확도의 음성 인식 기능을 제공합니다.Google Cloud Console에서 프로젝트를 생성합니다.Speech-to-Text API를 활성화합니다.서비스 계정을 생성하고 JSON 형식의 키 파일을 다운로드합니다.코드 예시 (Python)import osfrom google.cloud import speech# Google Cloud 인증 설정os.environ["GO.. 2024. 8. 15.
728x90
728x90

티스토리툴바