Name: Colibri
SKU: -

소개

Colibri는 대규모 모델을 일반 하드웨어에서 실행할 수 있게 해주는 오픈소스 추론 엔진입니다. Pure C로 작성되어 의존성이 전혀 없으며, VRAM, RAM, 그리고 디스크를 단일 계층으로 취급하여 대규모 모델의 가중치를 실시간으로 스트리밍합니다. 이를 통해 데이터센터 수준의 하드웨어 없이도 수백억 또는 수조 개의 매개변수를 가진 모델을 로컬 환경에서 활용할 수 있습니다.

상세정보

메모리 멀티티어링

VRAM, RAM, NVMe SSD를 하나의 계층 구조로 통합 관리합니다. 모델의 밀집 레이어는 RAM에 상주시키고, 19,456개의 라우팅된 전문가(expert) 가중치는 디스크에서 스트리밍합니다. 라우팅된 히트맵을 기반으로 자주 사용되는 전문가는 캐시에 고정되고, 덜 사용되는 것은 디스크에서 온디맨드로 로드됩니다.

하드웨어 비독립성

하나의 엔진으로 다양한 하드웨어 구성을 지원합니다. CPU 전용 시스템, NVIDIA GPU가 있는 시스템, Apple Silicon의 Metal 백엔드 등에서 모두 동일하게 동작합니다. GPU는 선택 사항이며, 사용 시 속도를 향상시킬 뿐입니다.

다중 모델 지원

GLM-5.2/5.3, GLM-5.3-Flash, Kimi K3, DeepSeek V4 Flash, Qwen3.8-Flash-Next 등 여러 대규모 모델 패밀리를 지원합니다. 각 모델은 자체 엔진 파일을 가지지만, 동일한 coli chat, coli serve, coli web 프론트엔드를 공유합니다.

CLI 및 웹 인터페이스

대화형 터미널 인터페이스(TUI), OpenAI 호환 API 서버, 실시간 모니터링 대시보드를 제공합니다. coli chat으로 대화를 시작하고, coli web으로 브라우저 기반 대시보드를 열어 토큰 메트릭, 하드웨어 상태, 전문가 라우팅 상태를 실시간으로 확인할 수 있습니다.

다운로드 및 설치 방법

Colibri는 소스 코드 빌드 또는 프리빌트 릴리즈를 통해 설치할 수 있습니다. Windows 사용자는 GitHub 릴리즈 페이지에서 해당 플랫폼의 아카이브를 다운로드하여 압축을 풀면 됩니다.

소스에서 빌드하는 경우, gcc(또는 clang)와 OpenMP가 필요합니다. GitHub 저장소를 클론한 후 cd colibri/c && ./setup.sh를 실행하면 자동으로 빌드 및 자체 테스트가 수행됩니다. 런처를 PATH에 등록하려면 pip install -e .를 실행할 수 있습니다.

모델 파일은 Hugging Face에서 다운로드할 수 있습니다. 예를 들어 GLM-5.2의 int4 컨테이너는 약 372GB이며, coli convert 명령어로 FP8 소스 모델을 직접 변환할 수도 있습니다.

기본 사용법

엔진과 모델을 준비한 후, 모델 경로를 지정하여 대화를 시작합니다:

대화형 터미널 시작: COLI_MODEL=/nvme/glm52_i4 ./coli chat
시스템 상태 점검: COLI_MODEL=/nvme/glm52_i4 ./coli doctor
최적화 프로파일 측정: COLI_MODEL=/nvme/glm52_i4 ./coli tune
웹 대시보드 및 API 서버 시작: ./coli web --model /nvme/glm52_i4

Windows에서는 coli.cmd chat --model D:glm52_i4와 같이 명령줄에서 실행하거나 더블 클릭으로 빠른 시작할 수 있습니다.

이런 경우에 유용합니다

대규모 AI 모델을 로컬 환경에서 테스트하거나 연구하고 싶을 때 유용합니다. 데이터센터 없이도 744B 파라미터 모델을 소비자용 하드웨어에서 실행할 수 있어, AI 연구자, 개발자, 모델 평가에 관심 있는 사용자에게 적합합니다.

다양한 GPU 구성(CPU 전용, NVIDIA, Apple Silicon)에서 동일하게 동작하므로, 하드웨어 제약 없이 모델을 실험해 볼 수 있습니다. 또한 OpenAI 호환 API를 제공하므로, 기존 애플리케이션에서 손쉽게 통합할 수 있습니다.

지원 환경 및 시스템 요구사항

Colibri는 Windows 11, Linux, macOS를 지원합니다. Python 3는 런처 및 API 게이트웨이에 필요하며, 엔진 자체는 순수 C로 작성되어 의존성이 없습니다.

모델에 따라 필요한 리소스가 다릅니다. GLM-5.2는 최소 16GB RAM과 약 372GB 디스크 공간이 필요하며, GPU는 선택 사항입니다. Qwen3.6은 24GB RAM이 필요하며, DeepSeek V4 Flash는 NVIDIA GPU 사용 시 속도가 크게 향상됩니다.

제한 사항 및 확인 사항

모델 파일은 상당한 디스크 공간이 필요합니다 (GLM-5.2는 약 372GB, Kimi K3는 약 1.6TB).
GPU는 선택 사항이지만, 없으면 속도가 크게 저하될 수 있습니다.
일부 모델은 특정 양자화 설정이 필요합니다 (예: GLM-5.2는 int8 MTP 헤드가 필요).
모델 변환 시 정확한 컨테이너를 사용해야 품질 문제가 발생하지 않습니다.

시스템 요구사항

Python 3 (런처 및 API 게이트웨이용), 모델 파일 디스크 공간 (모델 유형에 따라 다름, 예: GLM-5.2는 약 372GB), 모델에 따른 최소 RAM (예: GLM-5.2는 16GB, Qwen3.6는 24GB)

Colibri

소개