https://www.udemy.com/course/best-hadoop/
<Udemy 인터넷 강의 사이트>
0. Intro
데이터 엔지니어링에 관심이 생겨 아파치 스파크와 파이썬으로 데이터를 만져볼 수 있는 강의를 구매했다.
instructor는 Frank Kane이라는 사람이다.
어... 분명히
- Hive 및 MySQL을 사용하여 관계형 데이터를 분석
-
Hadoop 및 관련 기술을 사용하여 "빅데이터"를 관리하는 분산 시스템 설계
-
HDFS 및 MapReduce를 사용하여 대규모 데이터 저장 및 분석
라고 했는데 왠지 데이터 분석을 할 것만 같은 느낌이 든다.
파이썬 및 SQL을 미리 알고있으면 좋다. 필수 요구사항은 아니다.
0. How to use the courese
Udemy 질의응답 기능을 적극 이용하라고 한다.
그 옆에 학습 알림 기능이 상당히 유용해보인다. 학습해야 할 시간에 알림을 줘서 이 강의 수강을 까먹지 않을 수 있다.
해당 강의는 java 8 or 11에서만 이용가능하다. 해당 시점의 Spark가 아직 다른 자바 버전을 지원하지 않는 것 같다.
스파크는 스칼라 위에서, 스칼라는 jre위에서 실행되기 때문에 자바가 필요하다.