Data Science (2016 Fall)

“Student-teacher relationships are based on trust. Acts, which violate this trust, undermine the educational process. Your classmates and the instructor will not tolerate violations of academic integrity”

1. Course Schedule & Lecture Notes

Sept. 06 – 과목 소개 및 anaconda(Python)+jupyter(ipython)+Spark 코딩 환경 구축
- 본 수업에서 활용할 프로그래밍 환경
  - 0) JDK (Java Development Kit) 설치 확인
  - 1) anaconda-2.7 설치
  - 2) spark-2.0.0 설치
    - spark 환경 설정
      - export SPARK_HOME=”/Users/[Your Home]/spark-2.0.0-bin-hadoop2.7″
      - export PYTHONPATH=”$SPARK_HOME/python/lib/py4j-0.10.1-src.zip”
      - export PATH=”$SPARK_HOME/bin:$PATH”
  - 3) findspark 모듈 설치
    - pip install findspark
  - 4) tensorflow 라이브러리 설치
    - Terminal에서 Anaconda Navigator 실행
      - anaconda-navigator
      - Enviroments -> Install된 모듈 중에서 tensorflow 찾기!
    - 대부분의 경우 없을 것이며 Terminal 에서 다음과 같이 설치
      - conda install -c conda-forge tensorflow
  - 5) jupyter notebook 실행
    - 적절한 작업 디렉토리 설정
    - jupyter notebook
  - 6) 다음 테스트 프로그램 수행이 되면 환경 구성 완료
    - Spark and Tensorflow Test
  - 7) 숙제 제출 방법
    - jupyter notebook 환경에서 각 숙제별로 ipynb 파일 생성
      - jupyter (구 iPython) 사용법
    - ipynb 파일 내에 코드를 작성하고 작성한 코드 설명시에 Markdown 문법으로 입력해야 함
      - Markdown 사용법은 각자 익힐 것
        
        Markdown 사용법
        
        Markdown Tutorial
        
        Markdown Online Editor
    - 생성한 ipynb 파일에 대해 자신만의 방법을 사용하여 온라인상 URL을 생성
      - 예 1. Github 사이트로 업로드 후 URL 얻기
      - 예 2. Drobbox 폴더로 업로드 후 URL 얻기
    - 다음 사이트에 해당 URL을 입력
      - http://nbviewer.jupyter.org
      - 위 사이트에서 보여지는 자신의 숙제를 확인하고 해당 nbviewer URL을 교수 이메일로 보냄
        
        숙제 URL 예: http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/t9nmklgjkp7w4ok/kmeans.ipynb
  - 파이썬 학습
  - 첫번째 숙제
    - Pandas – 10 minutes tutorial 에 기술된 파이썬 코딩을 본인이 구축한 Anaconda 환경에서 jupyter notebook 에 옮겨 적으며 학습
    - ipynb 파일 생성 후 –> 클라우드에 올려 URL을 만들고 –> nbviewer를 통해 다시 URL을 재생성 –> nbviewer URL을 이메일로 제출
    - Email: yhhan@koreatech.ac.kr
    - Due Date: 2016년 9월 13일 수업 전까지

Sept. 13 – Data Science 101
- Lecture Note
- 확률과 확률분포 (from KAIST seslab)
- Maximum Likelihood Estimation (from KAIST seslab)
- Apache Spark Tutorial (Edx BerkeleyX CS105x)
  - First, we need to install ‘spark_mooc_meta’ library: reference
  - In Databricks Community, import the following notebook by selecting “Workspace”, clicking on the dropdown next to your username, and selecting “Import”.
    - https://raw.githubusercontent.com/spark-mooc/mooc-setup/master/cs105_lab1a_spark_tutorial.dbc
  - Word count
    - https://raw.githubusercontent.com/spark-mooc/mooc-setup/master/cs105_lab1b_word_count.dbc
  - Apache Web Server Log Analysis
    - https://raw.githubusercontent.com/spark-mooc/mooc-setup/master/cs105_lab2_apache_log.dbc
    - regexp lookaround
- Python+Spark 학습
  - A Gentle Introduction to Apache Spark on Databricks, Companion Notebook
- Introduction to Apache Spark (Source: Edx BerkeleyX CS105x)

Sept. 20 – Supervised vs. Unsupervised Learning, Predictive Model, Data Handling and EDA (Exploratory data analysis)
- Lecture Note
- Iris Data Set

Sept. 27 – Decision Tree and Random Forest

Oct. 04 – Practice – Decision Tree and Random Forest
- Mushroom Data Set
- Mushroom Data Set – DT and RF
- Assignment – Due Date: 10월 14일 23시 59분
  - 제출 방법: ipython notebook 에서 작업 이후 산출된 ipynb 파일을 github 등에 올리고 해당 URL을 메일로 보냄

Oct. 11 – Linear Regression and Gradient Descendent
- Linear Regression – Lecture Note (ipython notebook)
- Gradient Descendent – Lecture Note (ipython notebook)

Oct. 18- Logistic Regression
- Lecture Note (ipython notebook)
- Assignment – Due Date: 10월 30일 23시 59분
  - 제출 방법: ipython notebook 에서 작업 이후 산출된 ipynb 파일을 github 등에 올리고 해당 URL을 메일로 보냄

Oct. 25- [휴강]

Nov. 01 – Neural Network I
- Lecture Note
- Neural Network Example with TensorFlow – MNIST handwritten digit recognition

Nov. 08 – Neural Network (Back Propagation) II
- Lecture Note

Nov. 15 – K-Nearest Neighbors

Nov. 22 – K-Means

Nov. 29 – Convolutional Neural Network
- Lecture Note
- ConvNet Practice

Dec. 06- [기말고사]

2. Course Information

Professor: Youn-Hee Han (Rm. B303, Tel: 560-1486, yhhan@koreatech.ac.kr)
Github Repository: https://github.com/bluebibi/python-for-data-analysis
Classes: Thursday (14:00 – 17:50)
Lecture Room: B318
Prerequisites
- Programming background and experience with Python required.
- All exercises will use PySpark (part of Apache Spark) with the Databricks environment.
- Previous experience with Spark NOT required.
References
- 포스터 프로보스트, 톰 포셋 (강권학 옮김), 비즈니스를 위한 데이터 과학 빅데이터를 바라보는 데이터 마이닝과 분석적 사고, 한빛미디어, 2014년 7월
- 사토 히로유키 외 (정인식 옮김), 데이터 과학자, 무엇을 배울 것인가 : 빅 데이터 시대의 데이터 과학자 양성 독본, 제이펍, 2014년 6월
- 니시우치 히로무 (신현호 옮김), 빅데이터를 지배하는 통계의 힘: 통계학이 최강의 학문이다, 비전코리아, 2013년 7월
- 니시우치 히로무 (신현호 옮김), 빅데이터를 지배하는 통계의 힘: 실무활용 편, 비전코리아, 2015년 8월
- Lei Tang and Huan Liu, Community Detection and Mining in Social Media, Synthesis Lectures on Data Mining and Knowledge Discovery, Vol. 2, No. 1, Pages 1-137, 2010.
- Maksim Tsvetovat and Alexander Kouznetsov, Social Network Analysis for Startups: Finding connections on the social web, O’Reilly Media, October 7, 2011.
- Matthew A. Russell, Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites, O’Reilly Media, February 8, 2011.
- Choosing the right estimator for machine learning
- SINAN OZDEMIR’s Python for Data Science

3. Logistics

Attendance – One class absence will result in the deduction of two points out of 100 points. Three absences will not result in ten points deduction, but “failure” (i.e., grade ‘F’) in this course.
Exam – There will be the final exam for the evaluation of the knowledge learned from the class.
Book Report – Students should read one of books listed in the references, and submit a book report.
Presentation – Much evaluation mark will be counted.

4. Evaluation

Attendance (10%)
Book Report (20%)
Presentation (20%)
Final Examination (50%)

LINK@KoreaTech

Data Science (2016 Fall)

1. Course Schedule & Lecture Notes

2. Course Information

3. Logistics

4. Evaluation