Harbor

로컬 LLM 실행

Ollama, llama.cpp, vLLM, TGI, TabbyAPI, Aphrodite, SGLang, KTransformers 등 다양한 LLM 백엔드를 지원하며, Open WebUI와 같은 프론트엔드에 자동으로 연결됩니다.

프론트엔드 및 위성 서비스

Open WebUI, LibreChat, AnythingLLM, ChatUI 등 여러 프론트엔드를 제공하며, SearXNG(웹 검색), Speaches(음성 채팅), ComfyUI(이미지 생성) 등 다양한 위성 서비스를 포함합니다.

코딩 에이전트 통합

harbor launch 명령으로 Codex, Claude, OpenCode 등 코딩 에이전트를 Harbor 백엔드에 연결할 수 있습니다.

에이전트 워크플로우 (Boost)

Harbor Boost는 웹 리서치, 산출물 검토, 범위 확인, 스타일 검토 등의 모듈을 연결하여 사용자 정의 워크플로우를 구성할 수 있습니다.

MCP 도구 사용

MetaMCP 및 mcpo를 통해 MCP 서버를 관리하고 Open WebUI에 연결할 수 있습니다.

이미지 생성

ComfyUI와 Flux를 Open WebUI와 통합하여 이미지 생성 기능을 제공합니다.

로컬 웹 RAG 및 딥 리서치

SearXNG가 사전 연결되어 Perplexica, ChatUI, Morphic, Local Deep Research 등에서 웹 RAG를 사용할 수 있습니다.

LLM 워크플로우

Dify, LitLytics, n8n, Open WebUI Pipelines, Flowise, LangFlow 등 LLM 기반 데이터 및 채팅 워크플로우를 구축할 수 있습니다.

음성 채팅

Speaches를 통해 OpenAI 호환 STT/TTS를 제공하며 Open WebUI에 자동 연결됩니다.

모바일 접근

harbor qr 명령으로 QR 코드를 생성하여 스마트폰에서 서비스에 쉽게 접근할 수 있습니다.

터널링

harbor tunnel 명령으로 Harbor를 인터넷에 노출할 수 있으며, Traefik이 내장되어 있습니다.

구성 프로필

harbor profile 명령으로 다양한 시나리오에 대한 구성 프로필을 저장하고 관리할 수 있습니다.

명령 기록

harbor history 명령으로 최근 사용한 명령을 로컬에서 확인하고 다시 실행할 수 있습니다.

Eject

harbor eject 명령으로 현재 구성을 독립적인 Docker Compose 파일로 내보낼 수 있습니다.

설치 및 시작

Windows에서는 Winget 패키지 관리자를 통해 설치할 수 있습니다.

winget install --id IvanCharapanau.Harbor --exact

설치 후 터미널에서 harbor 명령을 실행하여 기본 스택(Open WebUI 및 llama.cpp)을 시작할 수 있습니다.

harbor up

추가 서비스는 명령에 서비스 이름을 추가하여 실행할 수 있습니다.

harbor up searxng

Harbor 앱을 사용하면 그래픽 인터페이스에서 서비스를 관리할 수 있습니다.

활용 예시

• 로컬 LLM 백엔드(Ollama, llama.cpp 등)를 Open WebUI와 함께 실행하여 웹 브라우저에서 채팅 인터페이스를 사용할 수 있습니다.
• SearXNG를 추가하여 Open WebUI에서 웹 RAG(검색 증강 생성)를 사용할 수 있습니다.
• Speaches를 추가하여 음성 채팅(STT/TTS)을 사용할 수 있습니다.
• ComfyUI를 추가하여 Open WebUI에서 이미지 생성(Flux)을 사용할 수 있습니다.
• 코딩 에이전트(Codex 등)를 Harbor 백엔드에 연결하여 로컬 모델로 코딩 작업을 수행할 수 있습니다.
• harbor qr 명령으로 QR 코드를 생성하여 스마트폰에서 서비스에 접근할 수 있습니다.

지원 환경 및 요구사항

Windows 운영 체제에서 Winget 패키지 관리자를 통해 설치할 수 있으며, x64 아키텍처를 지원합니다. Docker가 필요합니다.

버전 및 업데이트

현재 버전은 0.5.4이며, GitHub에서 최신 릴리스와 변경 사항을 확인할 수 있습니다.

라이선스 및 확인 사항

Harbor는 Apache-2.0 라이선스로 제공됩니다. 인터넷에 서비스를 노출할 때는 보안에 주의해야 합니다.

화면으로 보는 주요 기능

Harbor 서비스 목록 화면

Harbor 애플리케이션의 홈 화면으로, 'Services' 탭이 선택된 상태입니다. 화면에는 'boost', 'ollama', 'webui', 'aphrodite' 등의 여러 서비스가 카드 형태로 나열되어 있으며, 각 카드에는 서비스 이름과 'Satellite', 'Backend', 'Frontend' 등의 타입 정보가 포함되어 있습니다. 상단에는 'Home', 'Profiles', 'CLI', 'Settings'와 같은 탭이 있으며, 'Built-in' 탭이 활성화되어 있습니다. 오른쪽 상단에는 설정 및 새로 고침 아이콘도 보입니다.