Apache

[Apache Spark and Python] Udemy - Taming Big data with Apache Spark and Python

:) :) 2023. 4. 2. 14:20

https://www.udemy.com/course/best-hadoop/

<Udemy 인터넷 강의 사이트>

 

0. Intro

 데이터 엔지니어링에 관심이 생겨 아파치 스파크와 파이썬으로 데이터를 만져볼 수 있는 강의를 구매했다.

instructor는 Frank Kane이라는 사람이다.

어... 분명히

  • Hive 및 MySQL을 사용하여 관계형 데이터를 분석
  •  
  • Hadoop 및 관련 기술을 사용하여 "빅데이터"를 관리하는 분산 시스템 설계
  • HDFS 및 MapReduce를 사용하여 대규모 데이터 저장 및 분석

라고 했는데 왠지 데이터 분석을 할 것만 같은 느낌이 든다.
 
파이썬 및 SQL을 미리 알고있으면 좋다. 필수 요구사항은 아니다.
 
 

0. How to use the courese

 Udemy 질의응답 기능을 적극 이용하라고 한다.

그 옆에 학습 알림 기능이 상당히 유용해보인다. 학습해야 할 시간에 알림을 줘서 이 강의 수강을 까먹지 않을 수 있다.

해당 강의는 java 8 or 11에서만 이용가능하다. 해당 시점의 Spark가 아직 다른 자바 버전을 지원하지 않는 것 같다.

스파크는 스칼라 위에서, 스칼라는 jre위에서 실행되기 때문에 자바가 필요하다.