llml

모델 발견

GGUF 파일과 Hugging Face 스타일의 safetensors 모델 디렉토리를 자동으로 스캔합니다. 기본적으로 일반적인 모델 디렉토리를 검사하며, 추가 경로는 환경 변수나 config.toml로 설정할 수 있습니다. 발견된 모델 목록은 캐시되어 다음 실행 시 빠르게 로드됩니다.

런타임 감지

llama-server, vllm, koboldcpp 바이너리와 ollama 설치 여부를 자동으로 감지하고, 각 모델을 호환 가능한 런타임에 매핑합니다. GGUF 모델은 llama.cpp 또는 KoboldCpp를 선택할 수 있습니다.

프로필 관리

모델별로 여러 개의 이름 있는 프로필을 저장할 수 있습니다. 각 프로필에는 환경 변수, 추가 인자, 포트, 컨텍스트 설정이 포함됩니다. 예를 들어 ‘fast-laptop’, ‘quality’, ‘api-8080’과 같은 프로필을 만들어 상황에 맞게 전환할 수 있습니다.

한 번의 키 입력으로 실행

모델과 프로필을 선택한 후 ‘R’ 키를 누르면 서버가 실행됩니다. 실행 전에 생성된 명령이 표시되며, 서버 출력은 TUI에서 직접 스트리밍됩니다. Ollama 모델의 경우 ‘R’ 키를 누르면 ollama serve가 필요 시 시작되고, 선택한 모델이 keep_alive: -1로 메모리에 프리로드됩니다.

프로필 내보내기 및 가져오기

프로필을 TUI(‘E’ 키) 또는 CLI(llml export)로 내보내어 다른 사용자와 공유할 수 있습니다. 내보낸 프로필은 이식 가능한 TOML 형식으로 저장되며, llml-import 스킬을 통해 URL이나 파일에서 가져올 수 있습니다.

Windows (winget)

Windows에서는 winget 패키지 관리자를 통해 설치할 수 있습니다. 명령 프롬프트 또는 PowerShell에서 다음 명령을 실행합니다.

winget install --id FlyingNobita.llml

설치 후 ‘llml’ 명령을 입력하면 TUI가 시작됩니다.

macOS/Linux (원라이너)

macOS/Linux에서는 다음 스크립트로 설치할 수 있습니다.

curl -fsSL https://llml.dev/install.sh | sh

이 스크립트는 최신 버전을 $HOME/.local/bin에 설치합니다.

Go, Homebrew, Scoop

Go 1.26+ 환경에서는 ‘go install github.com/flyingnobita/llml/cmd/llml@latest’로 설치할 수 있습니다. Homebrew는 ‘brew tap flyingnobita/tap’ 후 ‘brew install –cask llml’, Scoop은 ‘scoop bucket add flyingnobita https://github.com/flyingnobita/scoop-bucket’ 후 ‘scoop install flyingnobita/llml’로 설치합니다.

사전 빌드된 바이너리

GitHub 릴리스 페이지에서 Linux, macOS, Windows용 압축 파일을 다운로드할 수 있습니다. 예를 들어 ‘llml_1.2.3_Windows_x86_64.zip’을 받아 압축을 풀고 llml.exe를 PATH에 추가하면 됩니다.

기본 사용법

llml을 실행하면 자동으로 모델과 런타임을 검색합니다. 화살표 키로 모델을 선택하고 ‘R’ 키를 눌러 실행합니다. ‘p’ 키로 프로필을 편집하고, ‘c’ 키로 런타임 환경을 설정할 수 있습니다. 자세한 단축키는 ‘?’ 키로 도움말을 확인할 수 있습니다.

활용 예시

• 로컬에 GGUF 모델을 보유한 사용자가 llama.cpp 서버를 빠르게 시작하고자 할 때
• safetensors 모델을 vLLM으로 실행하려는 사용자가 프로필을 저장해 두고 필요할 때 즉시 실행하고자 할 때
• Ollama 모델을 자주 사용하는 사용자가 ollama serve를 수동으로 시작하지 않고 모델을 프리로드하여 실행하고자 할 때
• 다른 사용자와 실행 프로필을 공유하여 동일한 모델에 대한 최적의 설정을 재사용하고자 할 때

지원 환경 및 요구사항

llml은 Windows, macOS, Linux에서 실행됩니다. 최소한 하나의 런타임 엔진(llama.cpp, vLLM, Ollama, KoboldCpp)이 설치되어 있어야 하며, 모델 파일이 로컬에 있어야 합니다. Go로 작성되었으며, 소스에서 빌드하려면 Go 1.26 이상이 필요합니다.

버전 및 업데이트

현재 버전은 0.7.1이며, winget을 통해 업그레이드할 수 있습니다. ‘winget upgrade –id FlyingNobita.llml’ 명령을 사용합니다. Homebrew 사용자는 ‘brew upgrade –cask llml’, Scoop 사용자는 ‘scoop update llml’로 업데이트합니다.

제한 사항 및 라이선스

llml은 MIT 라이선스로 배포됩니다. 모델 파일이나 런타임을 제공하지 않으므로 사용자가 직접 설치해야 합니다. Windows에서는 winget을 통해 설치할 수 있지만, 다른 OS에서는 각각의 패키지 관리자를 사용해야 합니다. TUI는 텍스트 기반이므로 그래픽 인터페이스를 선호하는 사용자에게는 적합하지 않을 수 있습니다.