最近全世界都吹起Big Data風潮,連蘋果(Apple)也一同蠢蠢欲動。最新的蘋果職缺中,今年2014年5月14日,蘋果的廣告部門開了一個高級軟體工程師的職缺。
筆者將職缺需求整理如下,提供相關的產業參考:
- 超過五年的軟體工程與資料分析的經驗。
- 熟悉的工具須要包含Java、Python、Hadoop、R、SPSS、SAS。
- 具有網路廣告的分析經驗。
- 懂SQL,也就是過去大家熟悉的關聯式資料庫。
- 理論的部分要懂資料探勘(Data mining)、資料匹配(Data matching)、機器學習(Machine learning)、 統計(Statistical techniques)、實驗設計(Experimental design)、最佳化(Optimization)。
- 具有大量數據的處理經驗,像是處理單位高達PB(Petabyte)以上的資料量。
- 具有解決真實問題的經驗。
- 獨立的工作能力。
- 關注資料分析的準確率與品質。
以上主要的徵求內容,在台灣算是跨科系才能學到的能力,筆者舉例如下:
- Java較偏資工系。
- R較偏統計系。
- Python與Hadoop可能偏資管系或資工系。
- SQL的部分偏資工與資管。
理論的部分資管跟資工都可以選修到,有些還是必修,但最佳化(Optimization)的課反而在工管系才可能碰到。當然現在有所謂的「資訊科學系」可能前述理論與工具都可能學習到。而個人覺得工具面的部份包含Java、Python、Hadoop、R這些開放原始碼,大部分都還是要靠學生自行學習。
最難的部分是在領域知識,像是蘋果的職缺需求就要網路廣告的分析經驗,對岸有些職缺需要懂金融、商業等領域知識的,這些領域知識在學校反而偏向是商業類科系才可能碰到,譬如筆者在大學修的廣告學、消費者行為,都需要跨修到企管系。
面對於這種職缺需要多年養成的職缺,企業不可能要求求職者百分之百都會以上技能,因為有些求職者即使會以上技能,個性與相處上反而也有問題,只能盡量取人格特質與技能較為平均的人才。
以筆者的經驗,通常一般行情是很難請到具有上述能力的人才。
因此筆者就根據企業所要發展的方向來決定這些能力的比重。
像是工作在分析比重較高,就會著重在R與Python的能力,且具有商業分析概念,且具備「溝通」能力的人才,因為他一般的工作就是協助進行資料分析,並產製BI報表或平台的能力。而R跟Python本身就能完成這些事情,所以工作反而是在溝通與呈現,以及應用統計、資料探勘、機器學習等理論在實務上。
至於比較強調資料儲存與資料流通的,技術要求就會著重SQL、NoSQL上,因為這類角色就類似早期的資料庫管理師,強調在資料庫的配置,資料庫的管理,他的工作比較偏重資料庫、基礎設施、資訊安全,同時這個角色對於伺服器這些硬體設備也要有一定的了解。
最後,比較著重系統建置的,就會希望具有PHP、ROR、Python、C#與資料庫的能力。這個角色能夠提供前端與後端的系統建置,像是具有做過ERP、PLM這類大型系統的建置經驗,他們通常具備一些技能組合,像是PHP+MySQL、C#+MSSQL、ROR+PostgreSQL等等,他們負責將資料分析人員產生的雛型(Prototype)進行實踐。
這樣的分工組合就可以讓分析的人才專注在分析與商業應用探討,並做出雛形系統,資料庫人員專注協助資料庫管理與資訊安全,系統建置則專注將分析結果實施到企業系統上。
最後還要搭配專案經理或產品經理,該角色具備領域知識與管理技能,如此一來就是一個理想的資料科學團隊雛型。
參考:
資料科學團訓班
資料爬理析 Python 實戰班2
巨量資料Big Data資料分析師養成班
交通大學巨量資料分析學分學程
政治大學巨量資料分析學程
東吳大學巨量資料分析學程
輔仁大學產業智慧與資料決策學程