[演講紀錄-2015.06.17]Big Data!Big Impact:大數據發展現況與未來發展趨勢_謝邦昌主任 地點:東吳大學巨量資料管理學院

今天來東吳不是踢館,真的不是踢館,我們這陣子都在談合作。就是跟東吳,台灣最早成立巨量資料管理學院的一所大學而且做得相當好,我今天也算是來取經,然後希望能夠建立這個領域上面大家一起合作。

Big Data不是舊事,不是新的東西。管仲:「不明於計數,而欲舉大事,猶無舟楫而欲經於水險也。」數,那時候就很重要,Data很重要,你不明計數就不能正天下。

Big Data很多人認為它好像很神奇,其實並不會。它其實就在你我周遭。像是電影「魔球」、7-11購物都在範疇之中。在企業主眼中Big Data就是Big Money,no data no money,而沒有data就沒有profit。

Science和Nature這兩個是全世界最頂尖的科學期刊,在2008和2011就告訴你Big Data是多麼重要。而在2012,Time,全世界最有名的新聞評論雜誌,提到2045,The year man becomes immortal,人類會變成不朽在2045。2012年的五月,兩個世界益智競賽的冠軍跟超級電腦比賽的活動。以後玩棋類或者這類型的遊戲都是電腦陪你玩,這十幾年來都是電玩的時代,假設你看到這個趨勢,超級電腦贏過這兩個世界益智競賽冠軍就是告訴你人工智慧時代的來臨。這都是在Big Data中間必須要提的,所以未來請記住四個單字SMAC(Social、Mobile、Analytics、Cloud)。

躬逢其盛,全世界第一個大數據博覽會,大數據都可以做世界博覽會有沒有覺得很訝異?我覺得很訝異,所以我去了。有一句話IT的人或者各個領域的人應該都要聽一聽:「IT時代,把人變成機器就是接近機器,現在越來越不是機器的問題,但是在DT(Data Technology)時代,機器變得智慧化越來越接近人類的思維,所以是DT時代的來臨。」DT時代的來臨不代表IT不重要,IT的人應該要有不同的思維,不能像以前遇到問題僅是在換硬體軟體,現在硬體軟體只占百分之二十,如今重要的是DT時代的來臨。馬雲說了這句話,而他的阿里巴巴亦不是靠IT起家的而是Data,這句話提供給大家參考。

大數據以前就有了,只是現在的資料量越來越大,同時也有更多的方法可以去解決。1980年有人說未來是數據的浪潮,90年代各方因為軟體及硬體成長速度越來越快進而解決的數據量上升,所以大家開始關注大數據。2010年美國總統科技顧問建議未來規劃數位化大數據時代平台。大量儲存越來越便宜、運算越來越快,當這兩者成為可能時雲端計算(Cloud Computing)隨之產生。而該如何運用IAAS、PAAS以及SAAS成為了新的重點。

IAAS、PAAS和SAAS搭配上公有雲、私有雲以及混合雲提供了新的服務模式。舉例而言,此次世界博覽會有四百多家廠商提供解決大數據方法模式(Solution)佔百分之八十以上。販賣的不再是機器而是雲端,像是惠普提供整個貴州健康雲等(SAAS)。

未來走向將是訊息與智慧的累積,貨櫃雲到資料中心(Data Center)的產生,舉例來說Google亞洲最大的資料中心雲端位於台灣彰濱科學園區,為一種成熟的代表,The Big Data is coming,你擁有資料(data)你就是贏家。

各個國家以及組織逐漸重視大數據,聯合國希望加以整合全世界的數據,中國起步較晚但發展速度迅速可見其數據量之大,亦有其危機,如同貴洲最大危機在於人才,而台灣則應思考如何整合公司硬體軟體等。中國發表的大數據貴陽宣言欲訂出大數據產業之規格,眾多公司聚集在貴陽建立資料中心。隨著資料的增長,人類的能力在不斷的增加。

大數據的走向朝開放式資料(Open source)、視覺化(Visualization)和CRISP-DM前進,軟硬體不再是問題,甚至連最簡單常見的Excel都可以處理大數據。

Excel基於SQL Sever做不到的還有其他做得到,像是R軟體、R Excel這些免費的開放式資料以及軟體,軟硬體在這個層面並不成問題,其價值性在於想分析什麼,資料量越大,可能是越現代化越成熟的地區,像是歐美。

4V(Volume、Variety、Velocity、Value)勿執著於數量只要使用者覺得夠大即可並不需要強求而應在乎其價值性。

百度的大數據提出了各種預測,像是城市預測、景點預測、高考預測、世界盃預測。有人說有了大數據就不需要抽樣,這是錯的,抽樣反而是越來越重要。

城市物聯網應用(IOT)以大數據為核心,其他各個領域之應用。以智慧型家庭為例,未來只用一個裝置就可以控制其餘相連之裝置達到智慧生活。台積電張忠謀:「The Big thing」指物聯網所帶來的衝擊,其核心請記住在於大數據。

Tagxedo網站可用來做語意分析並生成詞雲,且可生成特定圖案,做為一個開放式的網站,其可以快速找出社群之間的關係。以毒品個案為例,可以從網站或是ptt去尋找詞雲、關聯或是集群等等,相當多的軟體以及網站可做到更多的功能,重點在於如何去解釋。

ECharts亦是一個開放式網站,其提供多種視覺化圖型使用,且可供修改資料參數。

技術越來越不成問題,但是對於道德法律倫理方面較為缺乏。舉例而言,具有自動倒車功能的車輛若撞到人,哪一方該負起責任?

掌握大數據、處理大數據、面對大數據如雨後春筍般的出現在我們的生活之中。Health Care以及穿戴式裝置之應用在大數據方面受到注重。以貴州大數據論壇為例,四百多家廠商有百分之六十在進行相關發展且會越來越多。

中國大陸國家統計局將物價指數與淘寶網指數結合,使物價較為精准即時且可進行預測。聯合國則是與推特(Twitter)結合,觀察各個國家之間物價變化情形。

社群網站資料量越來越大,包括文字、聲音以及影像,其分析越來越快且方便。

哪裡有資料,可以做哪些整合分析,產生的價值性在哪。

my

謝老師Q

謝邦昌主任

醫管系生技EMBA大數據所生統中心