BitLlama Desktop

LLM 추론 실행

BitLlama 엔진과 연동하여 로컬에서 대규모 언어 모델 추론을 실행할 수 있습니다.

스트리밍 채팅

모델과의 대화를 스트리밍 방식으로 실시간 처리하는 채팅 기능을 제공합니다.

모델 브라우저 및 관리

모델 목록을 확인하고 다운로드, 추가, 삭제 등 모델 관리 작업을 수행할 수 있습니다.

Soul 학습

대화 내용으로부터 LoRA 파인튜닝을 수행하는 Soul 학습 기능을 지원합니다. 드래그 앤 드롭과 교정 학습 방식을 활용할 수 있습니다.

TTT 적응형 추론

TTT(Test-Time Training) 기반의 적응형 추론 기능을 제공합니다.

하드웨어 자동 감지

시스템 하드웨어를 자동으로 감지하여 최적의 환경에서 추론을 수행합니다.

다국어 인터페이스

영어와 일본어로 된 다국어(i18n) 인터페이스를 지원합니다.

설치

Windows에서는 winget 패키지 관리자를 통해 설치할 수 있습니다. 명령 프롬프트 또는 PowerShell에서 다음 명령어를 실행합니다.

winget install --id imonoonoko.BitLlamaDesktop --exact

macOS에서는 Homebrew를 통해 설치할 수 있습니다.

brew tap imonoonoko/bitllama && brew install bitllama

기본 사용법

1. BitLlama Desktop을 실행합니다.
2. 모델 브라우저에서 원하는 모델을 선택하거나 새로 추가합니다.
3. 채팅 창에서 추론 프롬프트를 입력하고 실행합니다.
4. 스트리밍으로 생성된 텍스트 결과를 확인합니다.
5. Soul 학습 기능을 사용하려면 드래그 앤 드롭으로 학습 데이터를 추가하거나 교정 학습을 진행합니다.

활용 예시

• 로컬 환경에서 다양한 LLM 모델을 비교 테스트하고 실행
• 대화 데이터를 기반으로 Soul 학습을 수행하여 모델을 맞춤화
• 스트리밍 채팅을 통한 실시간 텍스트 생성 및 결과 확인

제한 및 라이선스

본 소프트웨어는 MIT 라이선스로 배포됩니다. 라이선스 전문은 LICENSE에서 확인할 수 있습니다.