이 글은 GenAI Stack의 설명으로, Neo4j와 Docker, LangChain, Ollama 등의 파트너들이 함께 협력하여 생성형 AI(GenAI) 기반 애플리케이션을 쉽게 구축할 수 있도록 만든 스택입니다.
github : https://github.com/docker/genai-stack.git
GenAI Stack 소개
- GenAI Stack은 Neo4j(그래프 데이터베이스), Docker(컨테이너 플랫폼), LangChain(LLM 오케스트레이션 프레임워크), Ollama(로컬에서 실행 가능한 LLM) 등이 포함된 사전 통합된 스택입니다.
- Docker Compose를 사용해 손쉽게 설치하고 실행할 수 있으며, 개발자가 생성형 AI 애플리케이션을 빠르게 구축할 수 있도록 필수 구성 요소들이 준비되어 있습니다.
주요 특징
- 빠른 시작: 스택은 필요한 핵심 컴포넌트가 모두 포함되어 있으며, 사전 구성된 상태로 제공됩니다. Docker Compose 명령 하나만으로 모든 것을 설정할 수 있습니다.
- 로컬 모델 및 API 지원: Llama2와 같은 로컬에서 실행 가능한 모델과 OpenAI의 GPT-3.5 및 GPT-4 같은 API 기반 모델을 쉽게 실험할 수 있습니다.
- RAG 아키텍처 지원: Retrieval Augmented Generation (RAG) 아키텍처를 사용해 LLM(대형 언어 모델)에 자체 데이터를 결합할 수 있어 보다 정확한 정보 제공이 가능합니다.
배경
- Neo4j는 지식 그래프와 벡터 검색 기능을 통해 LLM의 응답을 더욱 신뢰할 수 있게 만드는 데 주력하고 있으며, 이를 통해 생성형 AI 모델이 보다 풍부하고 정확한 데이터를 활용할 수 있습니다. 지식 그래프는 LLM이 실수를 줄이고, 실제 관계에 기반한 응답을 제공하도록 도와줍니다.
스택의 구성 요소
- Docker: 개발 환경을 간편하게 설정할 수 있는 컨테이너 플랫폼.
- Neo4j: 관계형 데이터를 그래프 형태로 저장 및 검색할 수 있는 그래프 데이터베이스, 벡터 검색 및 지식 그래프 포함.
- LangChain: LLM 오케스트레이션을 지원하는 프레임워크.
- Ollama: 로컬에서 LLM을 실행하고 관리할 수 있는 플랫폼.
이 GenAI Stack은 GitHub 및 Docker Desktop Learning Center에서 이용할 수 있으며, 다양한 AI 활용 사례에 맞춰 사전 구성된 여러 설정을 제공합니다. LLM 애플리케이션 개발을 간소화하고, 관련 도구 및 코드 템플릿, 모범 사례도 함께 제공됩니다.
결론
GenAI Stack은 개발자들이 생성형 AI 기술을 더 쉽게 접할 수 있도록 도와주는 도구이며, 개발자들이 이를 통해 강력한 AI 애플리케이션을 빠르게 개발할 수 있습니다.
관련 문서:Containerize your GenAI app with Docker
https://docs.docker.com/guides/use-case/genai-pdf-bot/containerize/#get-the-sample-application