1. JAVA 설치, JAVA_HOME 환경설정
* Standalone모드
2. spark 설치 : master, slave 모든 서버에 설치, profile 적용
3. cluste ssh 연결
4. Host 정보 입력
5. Slave 정보 입력
6. 실행
* YARN모드
1. 원하는 HADOOP버전 설치, profile 환경설정
2. 하둡 JAVA 환경설정 JAVA_HOME추가, spark 설정추가, SPARK YARM 설정추가
3. Yarn 실행
4. 설정 완료 후, spark star-all 실행
https://yenaworldblog.wordpress.com/2019/04/23/spark-install-cluster-%EA%B5%AC%EC%84%B1/
[SPARK] Install & Cluster 구성
[선행작업] JAVA 설치 JAVA_HOME 환경설정 1. SPARK 설치 master, slave 모든 서버에 위 페이지에서 원하는 버전 선택 후, tgz 파일 다운로드 서버에 옮긴 후 압축 해제 후 shell 정상 작동 확인 tar -xf spark-2.4.1-bin-hadoop2.7.tgz mv spark-2.4.1-bi…
yenaworldblog.wordpress.com
'Daily 끄적 > TIL(Today I Learned)' 카테고리의 다른 글
| MAC 개발환경 설정 (0) | 2021.05.16 |
|---|---|
| 1206 (0) | 2018.12.06 |
| Git 명령어 정리 (0) | 2018.12.05 |
| TIL (0) | 2018.12.05 |
| 그런 REST API도 괜찮은가! (0) | 2018.11.23 |