Spark

배치/스트리밍 데이터 통합 처리

배치 및 실시간 스트리밍 데이터를 하나의 엔진으로 처리하여 데이터 파이프라인을 단순화합니다. Python, SQL, Scala, Java 또는 R 중 선호하는 언어를 사용할 수 있습니다.

SQL 분석

분산된 ANSI SQL 쿼리를 실행하여 대시보드 및 임시 보고서를 빠르게 생성하며, 대부분의 데이터 웨어하우스보다 빠른 성능을 제공합니다.

대규모 데이터 과학

다운샘플링 없이 페타바이트 규모의 데이터에서 탐색적 데이터 분석(EDA)을 수행할 수 있습니다.

머신러닝

노트북에서 머신러닝 알고리즘을 훈련하고, 동일한 코드로 수천 대의 머신으로 구성된 장애 허용 클러스터에서 확장할 수 있습니다.

다운로드·설치 방법

공식 웹사이트에서 소스 코드 또는 사전 빌드된 바이너리를 다운로드할 수 있습니다. Docker를 사용하는 경우 공식 이미지를 통해 빠르게 시작할 수 있습니다: docker run -it --rm spark:python3 /opt/spark/bin/pyspark 명령을 실행하여 PySpark 셸을 시작할 수 있습니다.

기본 사용법/명령어

PySpark를 사용하는 경우, pip install pyspark 명령으로 설치한 후 pyspark 명령을 실행하여 셸을 시작할 수 있습니다. Spark SQL을 사용하려면 docker run -it --rm spark /opt/spark/bin/spark-sql 명령을 실행합니다. Scala 또는 R을 사용하는 경우 각각 spark-shell 또는 sparkR 명령을 통해 접근할 수 있습니다.

이런 경우에 유용합니다

대용량 로그 데이터를 분석하여 사용자 행동 패턴을 파악해야 하는 데이터 엔지니어에게 유용합니다. 예를 들어, JSON 형식의 로그 파일에서 특정 조건을 만족하는 레코드를 필터링하고 요약 통계를 생성할 수 있습니다. 또한, 머신러닝 모델을 로컬에서 개발하고 동일한 코드로 클러스터 환경에서 확장하여 배포해야 하는 데이터 과학자에게 적합합니다.

지원 환경·시스템 요구사항

증거에서 구체적인 시스템 요구사항이나 지원 운영 체제에 대한 명시된 정보가 제공되지 않았습니다.

최신 버전·업데이트

Spark 4.2.0은 2026년 7월 14일에 출시되었습니다. 이전 버전으로는 Spark 4.1.3, 4.0.4, 3.5.9 등이 있으며, 각 버전의 출시일은 공식 다운로드 페이지에서 확인할 수 있습니다.

제한 사항·확인 사항

증거에서 구체적인 제한 사항이나 확인 사항에 대한 명시된 정보가 제공되지 않았습니다.