로컬 컴퓨터에서 Large Language Models (LLMs)를 운영하고자 하는 많은 사용자들을 위해 다양한 솔루션들이 제공되고 있습니다. 각각의 솔루션은 사용자의 목적과 환경에 따라 선택할 수 있습니다. 아래는 각 솔루션과 관련된 정보와 링크입니다.
제약점은 여러분 컴퓨터가 GPU가 있는 컴퓨터나 최신컴퓨터여야 원활히 작동됩니다.:
### 솔루션 개요:
로컬 컴퓨터에서 LLM을 설치하고 사용하려는 사용자를 위해, 다음의 솔루션들이 제공됩니다:
1. **TextGen-WebUI**: 오바부가
– **GitHub Repository**:(https://github.com/oobabooga/text-generation-webui)
– Gradio 웹 UI를 사용하여 다양한 Large Language Models을 배포하고 실행할 수 있는 솔루션입니다.
– 여러 인터페이스 모드와 모델 백엔드를 지원하며, 다양한 확장 기능을 제공합니다.
**Pinokio**:
1번의 설치가 어려우신 분을 위한 방법도 있습니다.
– **웹 사이트**:(https://program.pinokio.computer/)
– 로컬에서 AI 앱을 설치하고 실행하며, 작업을 자동화할 수 있는 브라우저 기반 프로그램입니다.
– 사용자 친화적인 GUI를 제공하여 터미널 작업을 간편하게 자동화할 수 있습니다.
-이곳에서 위의 1번의 웹인터페이스를 손쉽게 자동화 해서 설치 할 수 있습니다.
3. **LM Studio**:
– **웹 사이트**: (https://lmstudio.ai/)
– 오프라인 환경에서 노트북에서 Large Language Models (LLMs)를 실행할 수 있는 솔루션입니다.
– HuggingFace의 모델 리포지토리에서 호환 모델 파일을 다운로드하고 사용할 수 있습니다.
4. **Ollama**:
– **웹 사이트**: (https://ollama.com/)
– 대규모 언어 모델을 실행하고 사용할 수 있는 솔루션입니다.
– 다양한 LLMs를 실행하고 사용자 정의할 수 있습니다.
5.**MLC LLM**:
– **웹 사이트**: (https://llm.mlc.ai/)
MLC LLM은 모든 언어 모델을 다양한 하드웨어 백엔드와 네이티브 애플리케이션에 네이티브로 배포할 수 있는 범용 솔루션입니다.
각 솔루션은 사용자의 요구에 따라 다양한 기능과 유연성을 제공하고 있습니다. 사용자는 위 링크를 통해 각 솔루션에 대한 자세한 정보와 설치 방법을 확인할 수 있습니다. 로컬 환경에서 효율적으로 LLM을 운영하고자 하는 사용자들에게 도움이 되길 바랍니다.