《E1: 資料工程基礎班 002》

E1002

《E1: 資料工程基礎班》透過整合性專案實作,帶領想要從事「資料工程」或是「資料分析」工作的學員,從資料介接、資料架構設計、資料儲存與擷取、建立分析報表、到資料庫效能調整與評估,走一趟完整的資料旅程。

 

立即報名

課程目標

學員應該自我期許,達成下列學習目標:

  • 建立資料儲存基礎設施 (Linux)
  • 資料介接與儲存 (Python)
  • 瞭解及設計資料庫 (PostgreSQL)
  • 學習撰寫結構化查詢語言 (SQL Query)
  • 摘取資料,建立分析報表 (Python Pandas)
  • 綜合所學,從無到有,完成這輩子第一個資料工程專案

 

上課時間與地點

  • 時間:2015 年 7/4、5、11、12(連續兩個週末,共四天,每日10:00 – 17:00)
  • 地點:台北市內湖區瑞光路 318 號,精誠資訊大樓 1 樓 R109(捷運文湖線港墘站步行 5 分鐘)

 

課程介紹

本課程屬於 《DSP 資料工程師學程》的入門級課程,共計四天(24小時),學員將學習解決真實問題的完整流程。

本課程分為五個階段:

  • 資料介接:了解資料庫與資料介接方式。
  • 資料架構:進行資料儲存架構設計。
  • 資料儲存:實作資料儲存。
  • 資料撈取:學習使用結構化查詢語言進行資料的撈取與組合。
  • 綜合演練:透過個人的迷你專案,驗收學習成效。

E1process

 

課程大綱

日期
主題
課程內容
Day 1 (7/4)
Linux
  • 什麼是資料基礎設施(infrastructure)?
  • 建立與設定開發環境
  • Linux 簡介
    • Linux為開發環境的特色
  • Linux 系統常用指令實作
    • 一般操作
    • 檔案管理
      • 目錄結構
      • 檔案操作
      • 文件編輯器
    • 套件管理實作
      • APT
      • PIP
  • 小型專案
Day 2 (7/5)
Python
  • 設定 Python 運作環境
  • Python 簡介
  • 撰寫第一個 Python 腳本 (.py)
  • Python 基本實作
    • 各種資料型態、控制結構與函式
    • 模組的匯入與概念
    • 資料互動實作
    • 設計資料流程
    • 資料收集
    • 資料轉換
    • 資料讀取
  • 小型專案
    • In-memory Extract-Transform-Load
Day 3 (7/11)
PostgreSQL
  • 資料庫簡介
  • 資料庫評估解決方案要點
  • 資料庫基本實作 (PostgreSQL)
  • 基礎查詢
    • 運算式與函數式
    • CRUD Index / Primary Key / Foreign Key
    • Normalization / Denormaliztion
    • Join
  • Python + PostgreSQL實作
  • 資料庫效能提升實務
  • 小型專案
    • In-disk Transform-Load
Day 4 (7/12)
pandas
  • 資料工程師的工作簡介與學習路徑
  • Python Pandas 實作
    • pandas 操作資料的一大利器!
    • pandas 提供的資料結構與操作
      • Series
      • Data Frame
    • 資料的匯入與獲取
    • 資料處理範例
    • 繪圖指令
    • PostgreSQL的存取
    • pandas + PostgreSQL 實作
    • pandas 基礎分析
  • 小型專案

立即報名

課程方案

本次課程由淺入深,採三種方案販售,有興趣的朋友請依照您的背景知識選擇最適合的方案。

方案A:Linux + Python + PostgreSQL + pandas (Day 1-4, 24小時)

方案B:Python + PostgreSQL + pandas (Day 2-4, 18小時)

方案C:PostgreSQL + pandas (Day 3-4, 12小時)

 

先備知識

我們建議報名者在各個課程方案中至少具備以下技能或心理準備,以獲取較好的學習效果:

  • 方案A
    • 可以接受黑底白字命令列
    • 想嘗試在伺服器環境下命令
    • 想嘗試編寫 Python 語言
    • 想嘗試進行資料庫基本實作
    • 想嘗試執行資料撈取與基本分析
  • 方案B
    • 已熟悉Linux 環境基本運作
    • 想嘗試編寫 Python 語言
    • 想嘗試進行資料庫基本實作
    • 想嘗試執行資料撈取與基本分析
  • 方案C
    • 已熟悉Linux環境與Python語言的基本操作
    • 想嘗試進行PostgreSQL資料庫基本實作
    • 想嘗試執行資料撈取與基本分析

 

上課器材與工具軟體

學員須自備可以上網的筆記型電腦,建議使用下列作業系統:

  • Windows 7 或以上 / Mac OS X 10.9 或以上 / Ubuntu 14.04 或以上

 

適合對象

本課程著重於資料工程,適合具備任何一種程式語言的基本使用經驗 (方案A)、Linux基礎知識 (方案B),以及Python 語言使用經驗 (方案C)。

適合對象包括:

  • 社會科學想跨足資料科學領域者
  • 想培養資料工程職能的資料分析師
  • 具有程式語言基本使用經驗,想學習資料庫理論與實作者
  • 想學習資料庫實務者

 

講師介紹

Tim 許文昌 (Tim) Taipei.py 月會主辦人之一。 2012 年參與 Evernote Hackathon,榮獲台灣區冠軍;2014 百度開放雲 Hackathon,獲得最有潛力獎。 曾任職於趨勢科技,目前跟好朋友創辦了洞悉科技,希望可以做出讓世界更好的好服務,好軟體。
Mosky 劉依語 (Mosky) Python Charmer at Pinkoi,也就是設計品購物網站 Pinkoi 的後端工程師,平時主要以 Python 語言撰寫程式。活躍於開放原始碼社群,曾在 10 場國內外研討會發表演講、教授過超過 100 小時的 Python 課程、擁有 4 個以上的開放原始碼專案、9 年以上程式開發經驗。於業內業餘累積了豐厚的 Python 與多樣資料來源以及不同資料庫互動的實務經驗,希望透過資料課程分享及傳遞這些處理資料的經驗。
tim 洪培仁 (Tim Hong) APP雙棲開發者,使用Python開發資料API介接工具,專注資料收集及軟硬整合,並使用跨領域軟硬工具及平台提出解決方案。現任企業應用顧問、中華科大業師、北市府Open Data 顧問。關心城市、人文、設計相關領域之數位呈現,並且關注網路社會、Open Data、都市資料、人與資訊之關係。

(主辦單位保留修改活動內容的權利。)

報名、費用與錄取方式

  • 課程費用:
    • 方案A:定價12,800元整(含稅)
    • 方案B:定價10,800元整(含稅)
    • 方案C:定價8,800元整(含稅)
  • 名額:預計 30 名,額滿為止。
  • 一般學員
    • 先繳費,先錄取。
  • 企業夥伴優惠
    • 精誠集團員工,八折優惠。
    • 先繳費,先錄取。
    • 最多保留 8 個名額。
  • 非營利組織和政府單位優惠
    • 特別保留 3 個五折優惠名額,提供予非營利組織和政府單位之正式員工。
    • 報名時請填寫完整組織名稱,由主辦單位進行資格審查與錄取,非先報名先錄取。
    • 請勿在收到繳費通知前逕行繳費,以免超額收取。
    • 若有未經確認逕行繳費狀況,主辦單位有權拒絕錄取。

繳費截止期限

2015 年 6 月 29 日,星期一截止。

 

立即報名

 

方案A

方案B

方案C

Linux (7/4, 六)

V

Python (7/5, 日)

V V

PostgreSQL (7/11, 六)

V V V

pandas (7/12, 日)

V V V

早鳥票

5/27-6/14

10,240

報名截止

一般票

5/27-6/28

12,800

報名截止

10,800

報名截止

8,800

報名截止

企業夥伴、NPO/GOV 另有優惠 報名截止

 

(本課程收款服務由 Allpay 歐付寶 提供,敬請在繳費截止期限前完成繳費動作。)