Ludwig

선언형 구성 (Declarative Configuration)

전처리, 인코더, 아키텍처, 훈련, 하이퍼파라미터 최적화(HPO)까지 전체 머신러닝 파이프라인을 하나의 검증된 YAML 파일로 정의할 수 있습니다. 이로 인해 반복적인 훈련 루프 코드를 작성할 필요가 없습니다.

멀티모달 및 멀티태스크 지원

표형 데이터, 원시 텍스트, 이미지, 오디오, 시계열 데이터를 하나의 모델에 혼합하여 사용할 수 있으며, 여러 출력 기능을 동시에 훈련할 수 있습니다. 이는 다른 프레임워크에서는 쉽게 달성하기 어려운 기능입니다.

LLM 파인튜닝 스위트

지도형 미세조정(SFT), DPO, KTO, ORPO, GRPO 정렬 기법을 지원하며, LoRA, QLoRA, DoRA, VeRA 어댑터와 4비트 양자화( bitsandbytes)를 결합할 수 있습니다. 멀티어댑터 모델은 TIES, DARE, SVD 병합 기법으로 통합할 수 있습니다.

다운로드·설치 방법

Ludwig은 Python 패키지 관리자 pip를 통해 설치할 수 있습니다. 터미널 또는 명령 프롬프트에서 다음 명령을 실행합니다:

pip install ludwig

선택적 의존성을 포함하여 설치하려면, 예를 들어 텍스트 처리 기능을 위해 다음과 같이 지정할 수 있습니다:
pip install ludwig[text]

설치 후, Ludwig은 전역 명령어로 사용 가능하며, ludwig train, ludwig predict, ludwig serve 등의 하위 명령을 제공합니다.
기본 사용법/명령어
모델 훈련을 시작하려면, 데이터셋(CSV 형식)과 모델 구성을 정의한 YAML 파일을 준비합니다. 예를 들어 감정 분석을 위한 텍스트 분류 작업은 다음과 같이 진행할 수 있습니다:

text_classifier.yaml 파일을 생성하여 입력 특성(텍스트)과 출력 특성(이진 레이블)을 정의합니다.
data.csv 파일에 훈련 데이터를 준비합니다.
다음 명령으로 모델 훈련을 시작합니다:

ludwig train --config_file text_classifier.yaml --dataset data.csv
훈련이 완료되면, 다음 명령으로 예측을 수행할 수 있습니다:
ludwig predict --model_path ./results/experiment_run/model/ --dataset data.csv
훈련된 모델을 REST API 서버로 배포하려면 다음과 같이 실행합니다:
ludwig serve --model_path ./results/experiment_run/model/
이런 경우에 유용합니다
코딩 전문 지식이 없는 연구자나 분석가가 YAML만으로 딥러닝 모델을 빠르게 프로토타입팅하고 싶을 때 유용합니다. 또한, 소프트웨어 엔지니어는 Ludwig을 애플리케이션에 통합하여 맞춤형 ML 기능을 노코드 방식으로 추가할 수 있습니다. 특히 LLM 파인튜닝 작업을 수행하는 개발자는 Ludwig의 어댑터 및 양자화 기능을 통해 효율적으로 모델을 최적화할 수 있습니다.
지원 환경·시스템 요구사항
Ludwig은 Python 3.12 이상을 필요로 하며, Windows, macOS, Linux에서 동일하게 작동합니다. GPU 가속을 활용하려면 CUDA가 지원되는 환경이 권장되지만, CPU만으로도 기본 기능은 실행 가능합니다. 자세한 의존성 사항은 공식 저장소의 contributing 문서를 참조하십시오.
최신 버전·업데이트
현재 버전은 2.1.3이며, 최신 업데이트인 v0.17에서는 lazy 미디어 전처리, GRPO 최적화, VLM(비전-언어 모델) 파인튜닝 지원, 데이터 프리페치 파이프라인 기능이 추가되었습니다. 변경 사항은 저장소의 RELEASES.md 또는 공식 웹사이트에서 확인할 수 있습니다.