LLM7 로컬 머신(Local Machine, PC) 환경에서 ChatBot 구축 및 실행 방법 로컬 머신에서 실행되는 챗봇(ChatBot)을 구축하려면, 다음의 도구들을 사용할 수 있습니다.Llama 2: Meta의 오픈 소스 언어 모델Epsilla: 비슷한 맥락에서 사용될 수 있는 임의의 도구명으로 추정됨LangChain: 다양한 언어 모델을 체인으로 연결해주는 프레임워크Streamlit: 파이썬 애플리케이션을 웹 앱으로 빠르게 전환해주는 도구아래는 Llama 2, LangChain, Streamlit을 사용하여 로컬에서 실행 가능한 ChatBot을 구축하는 방법입니다.1. 환경 설정필요한 라이브러리를 설치합니다. pip을 사용하여 다음과 같이 설치할 수 있습니다.pip install torch transformers langchain streamlit2. Llama 2 모델 다운로드 및 설정L.. 2024. 9. 11. LangChain 활용하여 문서 기반 응답 챗봇(Chatbot) 만들기 LangChain을 통해 문서 검색 챗봇을 만드는 가이드를 초보자도 따라할 수 있도록 단계별로 자세히 정리하겠습니다.1. 환경 설정 및 필요한 패키지 설치먼저 필요한 패키지를 설치합니다. 다음 명령어를 실행하세요.!pip install -q grobid-client langchain openai faiss-cpu PyPDF2 tiktoken2. OpenAI API Key 설정OpenAI API 키를 생성하고 환경 변수에 설정합니다.OpenAI API Key 생성 페이지에서 키를 생성합니다.아래 코드를 사용하여 키를 설정합니다.import openaiimport osos.environ["OPENAI_API_KEY"] = "your_openai_api_key_here"3. PDF 파일 다운로드 및 전처리예제.. 2024. 8. 12. Anthropic LLM 서비스 활용한 RAG 시스템 구성 및 운영 Anthropic은 인공지능 연구 및 개발 회사로, 인공지능 언어 모델(LLM, Large Language Model)을 사용한 다양한 서비스를 제공합니다. 이들은 인공지능의 윤리적 사용과 안전성을 강조하며, 강력한 언어 모델을 개발하고 있습니다. Anthropic의 LLM 서비스는 대화형 인공지능, 텍스트 생성, 자연어 처리 등 다양한 응용 분야에 사용될 수 있습니다.주요 기능 및 특징대규모 언어 모델: Anthropic의 언어 모델은 방대한 양의 데이터로 학습된 대규모 모델로, 자연스러운 대화 및 고품질의 텍스트 생성을 지원합니다.안전성과 윤리성: 인공지능의 안전성과 윤리적 사용을 강조하여, 사용자에게 유익하고 해가 되지 않는 방향으로 모델을 개발하고 있습니다.다양한 응용 분야: 대화형 인공지능, 텍.. 2024. 8. 8. Generative AI 시스템 보호를 위한 도구 PyRIT 툴킷 MS 출시 Microsoft가 PyRIT(Python Risk Identification Tool)라는 새로운 오픈 소스 자동화 프레임워크를 출시했습니다. 이 도구는 생성 인공지능(AI) 시스템 내의 위험을 사전에 식별하기 위해 설계되었으며, 모든 조직이 최신 인공지능 발전을 책임 있게 활용할 수 있도록 지원하는 것을 목표로 합니다. PyRIT는 특히 큰 언어 모델(LLM) 엔드포인트의 강건성을 다양한 해로운 카테고리, 예를 들어 조작(예: 환각), 오용(예: 편견), 금지된 내용(예: 괴롭힘)에 대해 평가하는 데 사용될 수 있습니다. 또한, 맬웨어 생성에서 탈옥에 이르기까지 보안 해로움, 그리고 신원 도용과 같은 개인정보 해로움을 식별하는 데에도 사용할 수 있습니다. PyRIT는 다섯 가지 인터페이스를 제공합니다.. 2024. 3. 30. llamafile 프레임워크로 LLM 단일 파일 빌드 및 실행 GN⁺에서 소개한 llamafile 프로젝트에 대한 Hacker News의 의견과 사용자 경험을 정리하면 다음과 같습니다. 프로젝트 개요 llamafile은 AI 개발자들이 어디서나 손쉽게 LLM을 빌드하고 실행할 수 있도록 하는 프레임워크입니다. llama.cpp와 Cosmopolitan Libc를 결합하여 여러 플랫폼과 아키텍처에서 실행 가능한 단일 빌드를 지원합니다. 사용 방법과 경험 macOS에서 LLaVA 모델을 테스트하는 방법이 안내되었습니다. Hugging Face에서 llamafile-server 파일을 다운로드하고 터미널에서 실행하여 웹 서버를 시작하고, 브라우저를 통해 모델과 대화를 시작할 수 있습니다. macOS 앱 개발자는 llama.cpp를 SwiftUI 프론트엔드와 결합하여 자체.. 2024. 1. 25. 이전 1 2 다음 728x90
