2019年4月1日，人社部發(fā)布13個(gè)新職業(yè)，數(shù)字化管理師、ETL工程師、人工智能工程技術(shù)人員、大數(shù)據(jù)工程技術(shù)人員、物聯(lián)網(wǎng)工程技術(shù)人員、無(wú)人機(jī)駕駛員等一起被官宣為新時(shí)代的新職業(yè)。而僅僅在幾天前，在教育部公布的最新高校新增專業(yè)名單中，196所高校“擠破頭”要上的專業(yè)第一名也是大數(shù)據(jù)。于是，有人大膽預(yù)測(cè)：大數(shù)據(jù)是未來10年的“金飯碗”。
大數(shù)據(jù)比你自己更懂你
馬云曾經(jīng)在一次公開演講中表示，未來30年數(shù)據(jù)將取代石油，成為最強(qiáng)大能源。而在大數(shù)據(jù)改變世界之前，我們已經(jīng)清楚地看到它對(duì)我們?nèi)粘Ｉ畹母淖儭?br /> “太神奇了，它怎么知道我要買這一款？”最近，馬莉在網(wǎng)購(gòu)時(shí)遇到了一件怪事。她想買一個(gè)品牌的舊款針織開衫，于是在淘寶搜索欄里輸入了關(guān)鍵詞，卻沒有找到。但是，三個(gè)小時(shí)后當(dāng)她再次打開淘寶時(shí)卻發(fā)現(xiàn)，那件心儀已久的開衫正安靜地“躺”在“猜你喜歡”一欄里。她吃驚地和同事交流此事，對(duì)方指著剛剛收到的一條短信說：“我也趕巧了，家里孩子的奶粉過兩天就吃完了，正準(zhǔn)備買，就有促銷活動(dòng)！”
當(dāng)我們的衣食住行、吃喝玩樂與各種APP牢牢綁在一起的時(shí)候，整個(gè)社會(huì)已進(jìn)入到一個(gè)數(shù)據(jù)化生存時(shí)代。用戶只要拿起手機(jī)，就無(wú)時(shí)無(wú)刻不在產(chǎn)生著數(shù)據(jù)。而另一頭連接著的好像港劇中的“讀心神探”，只不過這一次的判斷依據(jù)，不是肢體語(yǔ)言，而是我們?cè)诨ヂ?lián)網(wǎng)“沖浪”時(shí)留下的點(diǎn)滴痕跡。
它們用無(wú)限的推送，戳破現(xiàn)代人的心。隨機(jī)播放的歌都是你喜歡的，給中年人推薦防脫發(fā)洗發(fā)水，知道你是連續(xù)11次獨(dú)自看電影的單身狗……很多人生活中唯一的要求就是渴望被人理解，最終卻發(fā)現(xiàn)最懂自己的是大數(shù)據(jù)。更重要的是，它記錄下你的審美，你的情緒，你的失眠，幫你過濾掉它認(rèn)為的無(wú)用信息。
“大數(shù)據(jù)的‘大’，就意味著它的價(jià)值密度低。如果不‘深挖’，這些數(shù)據(jù)就沒有價(jià)值。”作為國(guó)家最知名的大數(shù)據(jù)公司之一，拓爾思新聞出版事業(yè)部總經(jīng)理林松濤對(duì)記者說。海量數(shù)據(jù)本身是孤島，讓“沙漠”變“綠洲”，就需要人類的智慧。于是，ETL工程師這一新職業(yè)在時(shí)代的催生下誕生了。他們每天面對(duì)千萬(wàn)級(jí)和億級(jí)的數(shù)據(jù)，找到數(shù)據(jù)與數(shù)據(jù)之間的規(guī)律或者異常，形成結(jié)論和知識(shí)，推動(dòng)小到企業(yè)大到社會(huì)的發(fā)展，最后影響到我們每個(gè)人的日常生活。
在ETL工程師看來，數(shù)據(jù)并沒有好壞之分，關(guān)鍵看你怎么用、用在哪。也沒有絕對(duì)的客觀，如果說攝影師的取景框是他們裁剪世界的一種“偏見”，那么ETL工程師給數(shù)據(jù)貼上不同的標(biāo)簽、采用不同的分析模式，出來的結(jié)果也不一樣。但是這種價(jià)值的“提純”，會(huì)讓整個(gè)社會(huì)的生產(chǎn)效率得到極大提高。近日發(fā)布的《2019中國(guó)薪酬標(biāo)準(zhǔn)指南》中顯示，由于越來越多的管理決策正轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)，數(shù)據(jù)分析能力已成為中國(guó)公司招聘時(shí)高度關(guān)注的技能。
并非“碼農(nóng)”，分析才是硬核能力
有人將ETL工程師等同于“碼農(nóng)”，認(rèn)為寫寫代碼取數(shù)，便是數(shù)據(jù)分析工作的核心，其實(shí)是錯(cuò)誤的。“數(shù)據(jù)提取只是一種手段，而不是目的。真正的工作在于‘分析’，這才是核心。”途牛旅游網(wǎng)的ETL工程師Mandy解釋到。
美國(guó)沃爾瑪超市有一個(gè)很經(jīng)典的案例，把看上去毫不相關(guān)的啤酒和尿布擺放在一起，兩者的銷量大幅提升。“商品的關(guān)聯(lián)是件很神奇的事，通過數(shù)據(jù)分析發(fā)現(xiàn)，男性顧客在購(gòu)買嬰兒尿片時(shí)，常常會(huì)順便搭配幾瓶啤酒來犒勞自己。”1990年出生的沈海旺，是蘇寧集團(tuán)自產(chǎn)的一位ETL工程師，前面提到的關(guān)于買奶粉的短信提醒，可能就是他的杰作。沈海旺做過一個(gè)嬰幼兒奶粉“周期購(gòu)”的數(shù)據(jù)分析，讓蘇寧易購(gòu)上的奶粉銷量上升了三成。
沈海旺發(fā)現(xiàn)，商城上賣出去的一件奶粉，有可能是一箱，也有可能是一聽，每一種都分900克、1200克等不同規(guī)格。通過參照每個(gè)年齡段孩子攝入奶粉量的不同，可以大致推斷出用戶的購(gòu)買周期，最終通過短信方式，在適當(dāng)?shù)臅r(shí)機(jī)提醒用戶購(gòu)買。說起來簡(jiǎn)單，但實(shí)際的購(gòu)買行為多樣而復(fù)雜，比如有的人是幫親戚家孩子買的，有的人這次在A平臺(tái)購(gòu)買下次換到B平臺(tái)，數(shù)據(jù)不連貫。沈海旺將這些無(wú)用的數(shù)據(jù)形象地稱之為“臟數(shù)據(jù)”，他說初期會(huì)有大量的時(shí)間花費(fèi)在“臟數(shù)據(jù)”的清洗上。
“數(shù)據(jù)本身，既不是答案也不是真相，只有不停拷問，它才會(huì)坦白一切。”今年3月，交匯點(diǎn)APP給“積分落戶”的4133名新南京人進(jìn)行了畫像，原本復(fù)雜的調(diào)查過程，因?yàn)榍逦拇髷?shù)據(jù)的介入而變得簡(jiǎn)單。“外地人落戶南京的時(shí)候，公安局都會(huì)出一個(gè)公示。我們找到這些公示，根據(jù)身份證號(hào)的前幾位就可以判斷他遷入南京前的戶籍所在地。”
對(duì)P2P網(wǎng)貸平臺(tái)的風(fēng)險(xiǎn)進(jìn)行及時(shí)預(yù)警，ETL工程師也出了把力。他們?cè)O(shè)計(jì)了一個(gè)名叫“冒煙指數(shù)”的體系，匯總了互聯(lián)網(wǎng)、公檢法、工商稅務(wù)一切公開信息進(jìn)行數(shù)據(jù)分析后評(píng)分，“冒煙指數(shù)”一旦超過60分，相關(guān)部門就要列入重點(diǎn)監(jiān)管；超過80分，則要啟動(dòng)打擊處置程序。
調(diào)查中發(fā)現(xiàn)，目前市面上的ETL工程師的教育背景多元，學(xué)統(tǒng)計(jì)學(xué)、計(jì)算機(jī)、數(shù)學(xué)、金融學(xué)甚至情報(bào)學(xué)的都有，他們大多是大專及以上學(xué)歷，90后男性為主。男生工具分析的能力強(qiáng)，而女生心細(xì)，自我要求高，兩個(gè)性別在這個(gè)行業(yè)各有優(yōu)勢(shì)。對(duì)于這個(gè)職業(yè)來說男生更深，女生更廣。
數(shù)字化轉(zhuǎn)型浪潮席卷各行各業(yè)，大數(shù)據(jù)以極快的速度從概念走向現(xiàn)實(shí)，深度嵌入到經(jīng)濟(jì)社會(huì)的方方面面。“截至2018年，世界500強(qiáng)公司里，90%以上都有類似ETL工程師的崗位。”沈海旺所在的標(biāo)簽平臺(tái)產(chǎn)品部是蘇寧大數(shù)據(jù)中心下面的一個(gè)部門，2013年他從江蘇科技大學(xué)畢業(yè)加入蘇寧時(shí)，還沒有這個(gè)部門。從孤身一個(gè)人做大數(shù)據(jù)，到如今發(fā)展成數(shù)十人的部門，也折射出大數(shù)據(jù)分析在中國(guó)的熱度。而作為一家世界500強(qiáng)企業(yè)，蘇寧目前擁有200-300的大數(shù)據(jù)人才，除了位于IT總部底下的大數(shù)據(jù)中心，各個(gè)業(yè)務(wù)部門也都分別有自己的ETL工程師。
事實(shí)上，2016年2月,北京大學(xué)、對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)、中南大學(xué)首次成功申請(qǐng)到“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”本科新專業(yè)。也就是說，真正專業(yè)對(duì)口的第一批畢業(yè)生要到2020年才能走上ETL工程師的工作崗位。而現(xiàn)在從業(yè)的ETL工程師，都是從計(jì)算機(jī)、信息、金融、統(tǒng)計(jì)學(xué)等專業(yè)分流而來的。
“剛剛畢業(yè)的大學(xué)生，薪水就等同于我們企業(yè)中層，即使這樣，想招到一個(gè)優(yōu)秀的ETL工程師依然很難！”一家國(guó)際家電集團(tuán)的江蘇總部人力資源部負(fù)責(zé)人說。“他們不愁找工作，普通從業(yè)經(jīng)驗(yàn)超過3年的人，都比較搶手，獵頭跟著挖，一旦跳槽工資跟著翻倍。”
大數(shù)據(jù)時(shí)代我們每個(gè)人都應(yīng)該培養(yǎng)自己的大數(shù)據(jù)思維，就像我們現(xiàn)在學(xué)計(jì)算機(jī)、學(xué)英語(yǔ)一樣，大數(shù)據(jù)分析能力或許是未來我們與世界連接的一個(gè)基本工具！
大數(shù)據(jù)比你自己更懂你
馬云曾經(jīng)在一次公開演講中表示，未來30年數(shù)據(jù)將取代石油，成為最強(qiáng)大能源。而在大數(shù)據(jù)改變世界之前，我們已經(jīng)清楚地看到它對(duì)我們?nèi)粘Ｉ畹母淖儭?br /> “太神奇了，它怎么知道我要買這一款？”最近，馬莉在網(wǎng)購(gòu)時(shí)遇到了一件怪事。她想買一個(gè)品牌的舊款針織開衫，于是在淘寶搜索欄里輸入了關(guān)鍵詞，卻沒有找到。但是，三個(gè)小時(shí)后當(dāng)她再次打開淘寶時(shí)卻發(fā)現(xiàn)，那件心儀已久的開衫正安靜地“躺”在“猜你喜歡”一欄里。她吃驚地和同事交流此事，對(duì)方指著剛剛收到的一條短信說：“我也趕巧了，家里孩子的奶粉過兩天就吃完了，正準(zhǔn)備買，就有促銷活動(dòng)！”
當(dāng)我們的衣食住行、吃喝玩樂與各種APP牢牢綁在一起的時(shí)候，整個(gè)社會(huì)已進(jìn)入到一個(gè)數(shù)據(jù)化生存時(shí)代。用戶只要拿起手機(jī)，就無(wú)時(shí)無(wú)刻不在產(chǎn)生著數(shù)據(jù)。而另一頭連接著的好像港劇中的“讀心神探”，只不過這一次的判斷依據(jù)，不是肢體語(yǔ)言，而是我們?cè)诨ヂ?lián)網(wǎng)“沖浪”時(shí)留下的點(diǎn)滴痕跡。
它們用無(wú)限的推送，戳破現(xiàn)代人的心。隨機(jī)播放的歌都是你喜歡的，給中年人推薦防脫發(fā)洗發(fā)水，知道你是連續(xù)11次獨(dú)自看電影的單身狗……很多人生活中唯一的要求就是渴望被人理解，最終卻發(fā)現(xiàn)最懂自己的是大數(shù)據(jù)。更重要的是，它記錄下你的審美，你的情緒，你的失眠，幫你過濾掉它認(rèn)為的無(wú)用信息。
“大數(shù)據(jù)的‘大’，就意味著它的價(jià)值密度低。如果不‘深挖’，這些數(shù)據(jù)就沒有價(jià)值。”作為國(guó)家最知名的大數(shù)據(jù)公司之一，拓爾思新聞出版事業(yè)部總經(jīng)理林松濤對(duì)記者說。海量數(shù)據(jù)本身是孤島，讓“沙漠”變“綠洲”，就需要人類的智慧。于是，ETL工程師這一新職業(yè)在時(shí)代的催生下誕生了。他們每天面對(duì)千萬(wàn)級(jí)和億級(jí)的數(shù)據(jù)，找到數(shù)據(jù)與數(shù)據(jù)之間的規(guī)律或者異常，形成結(jié)論和知識(shí)，推動(dòng)小到企業(yè)大到社會(huì)的發(fā)展，最后影響到我們每個(gè)人的日常生活。
在ETL工程師看來，數(shù)據(jù)并沒有好壞之分，關(guān)鍵看你怎么用、用在哪。也沒有絕對(duì)的客觀，如果說攝影師的取景框是他們裁剪世界的一種“偏見”，那么ETL工程師給數(shù)據(jù)貼上不同的標(biāo)簽、采用不同的分析模式，出來的結(jié)果也不一樣。但是這種價(jià)值的“提純”，會(huì)讓整個(gè)社會(huì)的生產(chǎn)效率得到極大提高。近日發(fā)布的《2019中國(guó)薪酬標(biāo)準(zhǔn)指南》中顯示，由于越來越多的管理決策正轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)，數(shù)據(jù)分析能力已成為中國(guó)公司招聘時(shí)高度關(guān)注的技能。
有人將ETL工程師等同于“碼農(nóng)”，認(rèn)為寫寫代碼取數(shù)，便是數(shù)據(jù)分析工作的核心，其實(shí)是錯(cuò)誤的。“數(shù)據(jù)提取只是一種手段，而不是目的。真正的工作在于‘分析’，這才是核心。”途牛旅游網(wǎng)的ETL工程師Mandy解釋到。
美國(guó)沃爾瑪超市有一個(gè)很經(jīng)典的案例，把看上去毫不相關(guān)的啤酒和尿布擺放在一起，兩者的銷量大幅提升。“商品的關(guān)聯(lián)是件很神奇的事，通過數(shù)據(jù)分析發(fā)現(xiàn)，男性顧客在購(gòu)買嬰兒尿片時(shí)，常常會(huì)順便搭配幾瓶啤酒來犒勞自己。”1990年出生的沈海旺，是蘇寧集團(tuán)自產(chǎn)的一位ETL工程師，前面提到的關(guān)于買奶粉的短信提醒，可能就是他的杰作。沈海旺做過一個(gè)嬰幼兒奶粉“周期購(gòu)”的數(shù)據(jù)分析，讓蘇寧易購(gòu)上的奶粉銷量上升了三成。
沈海旺發(fā)現(xiàn)，商城上賣出去的一件奶粉，有可能是一箱，也有可能是一聽，每一種都分900克、1200克等不同規(guī)格。通過參照每個(gè)年齡段孩子攝入奶粉量的不同，可以大致推斷出用戶的購(gòu)買周期，最終通過短信方式，在適當(dāng)?shù)臅r(shí)機(jī)提醒用戶購(gòu)買。說起來簡(jiǎn)單，但實(shí)際的購(gòu)買行為多樣而復(fù)雜，比如有的人是幫親戚家孩子買的，有的人這次在A平臺(tái)購(gòu)買下次換到B平臺(tái)，數(shù)據(jù)不連貫。沈海旺將這些無(wú)用的數(shù)據(jù)形象地稱之為“臟數(shù)據(jù)”，他說初期會(huì)有大量的時(shí)間花費(fèi)在“臟數(shù)據(jù)”的清洗上。
“數(shù)據(jù)本身，既不是答案也不是真相，只有不停拷問，它才會(huì)坦白一切。”今年3月，交匯點(diǎn)APP給“積分落戶”的4133名新南京人進(jìn)行了畫像，原本復(fù)雜的調(diào)查過程，因?yàn)榍逦拇髷?shù)據(jù)的介入而變得簡(jiǎn)單。“外地人落戶南京的時(shí)候，公安局都會(huì)出一個(gè)公示。我們找到這些公示，根據(jù)身份證號(hào)的前幾位就可以判斷他遷入南京前的戶籍所在地。”
對(duì)P2P網(wǎng)貸平臺(tái)的風(fēng)險(xiǎn)進(jìn)行及時(shí)預(yù)警，ETL工程師也出了把力。他們?cè)O(shè)計(jì)了一個(gè)名叫“冒煙指數(shù)”的體系，匯總了互聯(lián)網(wǎng)、公檢法、工商稅務(wù)一切公開信息進(jìn)行數(shù)據(jù)分析后評(píng)分，“冒煙指數(shù)”一旦超過60分，相關(guān)部門就要列入重點(diǎn)監(jiān)管；超過80分，則要啟動(dòng)打擊處置程序。
調(diào)查中發(fā)現(xiàn)，目前市面上的ETL工程師的教育背景多元，學(xué)統(tǒng)計(jì)學(xué)、計(jì)算機(jī)、數(shù)學(xué)、金融學(xué)甚至情報(bào)學(xué)的都有，他們大多是大專及以上學(xué)歷，90后男性為主。男生工具分析的能力強(qiáng)，而女生心細(xì)，自我要求高，兩個(gè)性別在這個(gè)行業(yè)各有優(yōu)勢(shì)。對(duì)于這個(gè)職業(yè)來說男生更深，女生更廣。
數(shù)字化轉(zhuǎn)型浪潮席卷各行各業(yè)，大數(shù)據(jù)以極快的速度從概念走向現(xiàn)實(shí)，深度嵌入到經(jīng)濟(jì)社會(huì)的方方面面。“截至2018年，世界500強(qiáng)公司里，90%以上都有類似ETL工程師的崗位。”沈海旺所在的標(biāo)簽平臺(tái)產(chǎn)品部是蘇寧大數(shù)據(jù)中心下面的一個(gè)部門，2013年他從江蘇科技大學(xué)畢業(yè)加入蘇寧時(shí)，還沒有這個(gè)部門。從孤身一個(gè)人做大數(shù)據(jù)，到如今發(fā)展成數(shù)十人的部門，也折射出大數(shù)據(jù)分析在中國(guó)的熱度。而作為一家世界500強(qiáng)企業(yè)，蘇寧目前擁有200-300的大數(shù)據(jù)人才，除了位于IT總部底下的大數(shù)據(jù)中心，各個(gè)業(yè)務(wù)部門也都分別有自己的ETL工程師。
事實(shí)上，2016年2月,北京大學(xué)、對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)、中南大學(xué)首次成功申請(qǐng)到“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”本科新專業(yè)。也就是說，真正專業(yè)對(duì)口的第一批畢業(yè)生要到2020年才能走上ETL工程師的工作崗位。而現(xiàn)在從業(yè)的ETL工程師，都是從計(jì)算機(jī)、信息、金融、統(tǒng)計(jì)學(xué)等專業(yè)分流而來的。
“剛剛畢業(yè)的大學(xué)生，薪水就等同于我們企業(yè)中層，即使這樣，想招到一個(gè)優(yōu)秀的ETL工程師依然很難！”一家國(guó)際家電集團(tuán)的江蘇總部人力資源部負(fù)責(zé)人說。“他們不愁找工作，普通從業(yè)經(jīng)驗(yàn)超過3年的人，都比較搶手，獵頭跟著挖，一旦跳槽工資跟著翻倍。”
