Apache Flink

정확성 보장 및 처리 모델

• 정확히 한 번 처리(Exactly-once) 보장: 상태 일관성을 정확히 유지하여 데이터 처리의 신뢰성을 높입니다.
• 이벤트 시간 처리: 이벤트가 발생한 시점의 시간을 기준으로 데이터를 처리합니다.
• 정교한 지연 데이터 처리: 늦게 도착하는 데이터를 효과적으로 관리합니다.

유연한 API 및 운영

• 레이어드 API: SQL, DataStream API, ProcessFunction(시간 및 상태) 등 다양한 수준의 API를 제공하여 개발자에게 유연성을 줍니다.
• 유연한 배포 및 고가용성: 다양한 클러스터 환경에서 배포 가능하며, 고가용성 설정과 세이브포인트를 지원합니다.

성능 및 확장성

• 높은 처리량과 낮은 지연 시간: 인메모리 컴퓨팅을 활용하여 실시간에 가까운 성능을 발휘합니다.
• 대규모 상태 지원 및 확장형 아키텍처: 매우 큰 상태를 지원하고,增量 체크포인트를 통해 효율적으로 확장할 수 있습니다.

다운로드·설치 방법

제공된 패키지 정보에 따르면, Apache Flink는 Chocolatey 패키지(chocolatey.flink)를 통해 설치할 수 있습니다. 패키지 형식은 tgz입니다.

이런 경우에 유용합니다

• 이벤트 기반 애플리케이션 개발: 하나 이상의 이벤트 스트림에서 이벤트를 수신하고, 계산을 트리거하거나 상태를 업데이트해야 하는 상태 유지 애플리케이션을 구축할 때 유용합니다.
• 실시간 및 배치 분석: 원시 데이터에서 정보와 인사이트를 추출하는 분석 작업에 사용됩니다. 유한 데이터 세트에 대한 전통적인 배치 쿼리와 무제한 라이브 데이터 스트림에서의 실시간 쿼리를 모두 지원합니다.
• 데이터 파이프라인 및 ETL(추출, 변환, 적재): 스토리지 시스템 간에 데이터를 변환하고 이동하는 공통적인 접근 방식을 구현하는 데 사용됩니다.

지원 환경·시스템 요구사항

Apache Flink는 모든 일반적인 클러스터 환경에서 작동하도록 설계되었습니다.