2014 中國大資料行業大調查

2014 中國大資料行業大調查:開發者究竟需要什麼?(附中獎名單)

 

  摘要: 11 7 日到 12 7 日,在短短一個月左右的時間,我們得到來自全國各地 3326 位熱心用戶的支援,並從中挑選數十位朋友贈予豐厚大獎,下面我們來一起看下本次調查為我們揭示的大資料行業,以及那些獲獎的小夥伴們。

http://zkres.myzaker.com/201411/546577ce7f52e91e2f000090_640.jpg

  揭開大資料生態圈背後的真相,切實瞭解開發者對大資料平台的需求,用真實資料分析大資料行業發展趨勢及產品方向。近日,在 2014 中國大資料技術大會召開前夕,CSDN 特推出 " 2014 中國大資料有獎調查" 活動,旨在更全方位地洞察中國大資料產業現狀,為大資料技術從業者和創業者們提供良好的參考與建議。

  從 11 7 日到 12 7 日,在短短一個月左右的時間,我們得到來自全國各地 3326 位熱心用戶的支援,並從中挑選數十位朋友贈予豐厚大獎,下面我們來一起看下本次調查為我們揭示的大資料行業,以及那些獲獎的小夥伴們。

  公司使用大資料的基本情況

  時至今日,無論你是來自互聯網行業、通信行業,還是金融行業、服務業或是零售業,相信都不會對大資料感到陌生。據調查報告顯示,32.5% 的公司正在搭建大資料平台,處於測試階段;29.5% 的公司已經在生產環境實踐大資料,並有成功的用例 / 產品;24.5% 的公司已經做了足夠的瞭解,開發準備就緒;基本不瞭解的只占 3000+ 用戶的 13.5%

http://zkres.myzaker.com/201412/548580077f52e973440005df_640.jpg

  現有公司大資料的使用情況

  其中,大家對大資料平台提出的的主要需求有:36.5% 是進行海量資料的離線處理,比如大資料 BI23.2% 是為了大量資料的即時處理,比如線上互動式分析;40.3% 的公司的大資料平台則同時負責這兩種業務。

http://zkres.myzaker.com/201412/548580077f52e973440005e0_640.jpg

  大資料平台主要負責的業務

  傳統觀念下,大資料往往是大型互聯網公司的玩物。然而,通過本次調查,我們卻發現在那些對大資料平台有需求的公司中,研發團隊規模遠沒有我們想像的大,29.11% 的研發團隊僅有 1-10 人,次居第二的 10-50 人的規模占到了 25.77%, 兩種規模的研發團隊就超過了一半。可見,當下大資料的需求已不止步於大型公司。

http://zkres.myzaker.com/201412/548580077f52e973440005e1_640.jpg

  研發團隊規模

  從傳統架構到大資料時代應用程式架構的轉變往往都會遇到一些問題和挑戰。在對計算框架門檻調查中,非專業人士難於入手這一難題的比例達到了 46.5%,這對企業人才的培訓提出了迫切的要求。

http://zkres.myzaker.com/201412/548580077f52e973440005e2_640.jpg

  當下計算框架使用過程中存在的問題

  打造大資料平台需要企業克服諸多問題和挑戰,尤其是安全性和可靠性方面。

http://zkres.myzaker.com/201412/548580077f52e973440005e3_640.jpg

  大資料平台打造的主要挑戰

  大資料技術現狀

  大資料技術在開發者或從業人員的應用中逐步走向成熟,這些成熟的技術在開發人員的探索中得到了初步的穩定發展,公司的使用便是對這些技術的肯定。包括開發語言,資料分析語言、資料庫等在內的大資料工具,究竟哪個更適合自己的業務,相信開發者們都有自己的評判標準。

  在眾多的開發語言中,大資料平台開發者們尤為青睞 Java,占到了總比例的 65%, 遠遠超過其他開發語言。值得一提的是,Hadoop 本身就由 Java 實現的。

http://zkres.myzaker.com/201412/548580077f52e973440005e4_640.jpg

  大資料開發語言

  在大資料分析語言中,SQL 的使用比例達到了 64%,是 R 語言使用者人數的 2 倍之多。我們從中不難看出 SQL-on-XXX 項目的前景;同時從 R 的支持率上,也看到了更多非技術人員,比如資料分析師對低門檻分析類語言的需求。

http://zkres.myzaker.com/201412/548580077f52e973440005e5_640.jpg

  大資料分析通常用的語言

  在大資料存儲上,HBase 則以 67.55% 的比例位居榜首,遠超其他資料倉庫,當然這點與 Hadoop 原生支持是分不開的。

http://zkres.myzaker.com/201412/548580077f52e973440005e6_640.jpg

  大資料存儲中適合的資料庫

  對存儲在 HBase Cassandra 這樣 NOSQL 資料庫中的資料進行複雜查詢,SolrElasticsearchSplunk 等主流的搜尋引擎差距並不大。

http://zkres.myzaker.com/201412/548580077f52e973440005e7_640.jpg

  對存儲在 NOSQL 資料庫中的資料進行複雜查詢,比較合適的工具

  大資料未來發展

  誠如上文所說,許多對大資料有需求的公司並不一定具備強大的研發團隊,在大資料處理過程中往往遭遇眾多挑戰。那麼,在面臨這些挑戰時,開發者最迫切需要的是什麼?

  為了解決公司中的實際問題,39.28% 的人希望擁有更犀利和通用的計算框架;37.88% 的人希望能擁有更好的資料採擷演算法;21.59% 的人則對保障性更高的運維有了更多的期盼。

http://zkres.myzaker.com/201412/548580077f52e973440005e8_640.jpg

  為了解決公司的實際問題,最希望擁有的新技術

  良好的大資料計算平台能夠有效地支撐企業的海量資料,對於下一代通用大資料技術平台,Spark Hadoop 是公司的主要選擇。同時,我們也看到了新貴 Spark 的發展前景,對比老將 Hadoop,差距也僅有 3.7%

http://zkres.myzaker.com/201412/548580077f52e973440005e9_640.jpg

  人們看好的下一代通用大資料計算平台

  現有公司中,大資料平台已包含的部件位居前三的主要是 SQL 資料庫(90.3%)、NoSQL 資料庫(50.7%)和 HDFS47.2%),在此基礎上,公司計畫添加的部件主要包含 SQL 資料庫(57.2%)、Spark41.5%)和 NoSQL 資料庫(26.9%)。從各公司已有大資料部件和計畫添加的部件可以看出,SQL 資料庫和 NoSQL 資料庫在公司的大資料平台中發揮了重要的作用,得到了各公司的青睞。

http://zkres.myzaker.com/201412/548580077f52e973440005ea_640.jpg

  現有大資料平台已包含的部件  

http://zkres.myzaker.com/201412/548580077f52e973440005eb_640.jpg

    現有大資料平台計畫添加的部件

  為了獲取更高的收益,企業在前期需要進行有效地成本投入,對大資料平台的投資,公司更加不會吝嗇,其中被調查的人群中,45.7% 的人所在企業有追加投資大資料平台的打算,同時,公司也期望能夠通過多種途徑完善大資料平台,主要的完善途徑包括基於開源平台自主研發、購買成熟的解決方案,使用公有雲。

http://zkres.myzaker.com/201412/548580077f52e973440005ec_640.jpg

  企業期望完善大資料平台的途徑

  使用公有雲也是企業期望完善大資料平台的有效途徑之一,在選擇公有雲平台方面,企業也面臨著很大的傾向性,45.26% 的人將阿里雲作為首選。

http://zkres.myzaker.com/201412/548580077f52e973440005ed_640.jpg

  公有雲平台的選擇

  大資料技術培訓

  技術培訓能夠對開發者起到一定的指導作用,使得聽眾可以系統全面的把握新技術的知識脈絡,瞭解技術的發展趨勢。在此次調查活動中,69.4% 的被調查者表示從未參加過大資料平台構建的技術培訓。對於技術培訓的形式,49% 的人希望是線上培訓,收費,成系列型的大資料解決方案,專攻一個方向,解決實際問題;37% 的被調查者還是希望免費進行技術培訓,即使不成系列,無論是線上線下,能聽一節是一節。雖然收費在一定程度上影響了開發者對大資料技術培訓的熱情,但是能夠切實解決實際問題,得到技術和能力的提升,仍是相關技術人員追求的培訓目標。

http://zkres.myzaker.com/201412/548580077f52e973440005ee_640.jpg

  更適合的技術培訓形式

  那麼,對開發者來說,大家特別期望從技術培訓中獲取的知識又會是什麼?

http://zkres.myzaker.com/201412/548580077f52e973440005ef_640.jpg

  大資料領域,迫切學習或參加培訓的新技術

  寫在最後

  根據本次調查,我們不難發現,大資料仍然只在少數公司的生產環境投入使用,造成這個情況的原因主要有兩個:首先,當下的大資料計算框架在使用上仍然存在很高的門檻;其次,受限於公司研發團隊的實力。在大資料平台打造上,大部分機構都期望通過自主研發來完成這個過程,同時也期望獲得更符合使用習慣的計算框架,比如 SQL。同時,在自主研發和購買解決方案添加大資料屬性之外,很多機構將注意力集中到雲計算,其中國內雲供應商阿里雲 45.26% 的得票率更是值得欣慰。

  附錄:中獎的小夥伴們(PS:不包含獲獎積分的同學)

http://zkres.myzaker.com/201412/548580077f52e973440005f0_640.jpg

  全國大資料創新專案評選活動目前正在如火如荼進行中,詳情點擊這裡

  2014 中國大資料技術大會Big Data Technology Conference 2014BDTC 2014)將於 2014 12 12 -14 日在北京新雲南皇冠假日酒店召開。傳承自 2008 年,歷經七屆沉澱," 中國大資料技術大會 " 是目前國內最具影響、規模最大的大資料領域技術盛會。本屆會議,你不僅可以瞭解到 Apache Hadoop 提交者 Uma Maheswara Rao G(兼專案管理委員會成員)、Yi Liu,以及 Apache Hadoop Tez 專案管理委員會成員 Bikas Saha 等分享的通用大資料開源專案的最新成果和發展趨勢,還將斬獲來自騰訊、阿里、ClouderaLinkedIn、網易等機構的數十場乾貨分享。

 

出處: 

程式師12-08

http://app.myzaker.com/news/article.php?app_id=950&_appid=iphone&_version=3.5&sharechannel=wx&pk=548580061bc8e082348b4569&from=singlemessage&isappinstalled=0

2014 中國大資料行業大調查:開發者究竟需要什麼?(附中獎名單)

程式師12-08

http://app.myzaker.com/news/article.php?app_id=950&_appid=iphone&_version=3.5&sharechannel=wx&pk=548580061bc8e082348b4569&from=singlemessage&isappinstalled=0

  摘要: 11 7 日到 12 7 日,在短短一個月左右的時間,我們得到來自全國各地 3326 位熱心用戶的支援,並從中挑選數十位朋友贈予豐厚大獎,下面我們來一起看下本次調查為我們揭示的大資料行業,以及那些獲獎的小夥伴們。

http://zkres.myzaker.com/201411/546577ce7f52e91e2f000090_640.jpg

  揭開大資料生態圈背後的真相,切實瞭解開發者對大資料平台的需求,用真實資料分析大資料行業發展趨勢及產品方向。近日,在 2014 中國大資料技術大會召開前夕,CSDN 特推出 " 2014 中國大資料有獎調查" 活動,旨在更全方位地洞察中國大資料產業現狀,為大資料技術從業者和創業者們提供良好的參考與建議。

  從 11 7 日到 12 7 日,在短短一個月左右的時間,我們得到來自全國各地 3326 位熱心用戶的支援,並從中挑選數十位朋友贈予豐厚大獎,下面我們來一起看下本次調查為我們揭示的大資料行業,以及那些獲獎的小夥伴們。

  公司使用大資料的基本情況

  時至今日,無論你是來自互聯網行業、通信行業,還是金融行業、服務業或是零售業,相信都不會對大資料感到陌生。據調查報告顯示,32.5% 的公司正在搭建大資料平台,處於測試階段;29.5% 的公司已經在生產環境實踐大資料,並有成功的用例 / 產品;24.5% 的公司已經做了足夠的瞭解,開發準備就緒;基本不瞭解的只占 3000+ 用戶的 13.5%

http://zkres.myzaker.com/201412/548580077f52e973440005df_640.jpg

  現有公司大資料的使用情況

  其中,大家對大資料平台提出的的主要需求有:36.5% 是進行海量資料的離線處理,比如大資料 BI23.2% 是為了大量資料的即時處理,比如線上互動式分析;40.3% 的公司的大資料平台則同時負責這兩種業務。

http://zkres.myzaker.com/201412/548580077f52e973440005e0_640.jpg

  大資料平台主要負責的業務

  傳統觀念下,大資料往往是大型互聯網公司的玩物。然而,通過本次調查,我們卻發現在那些對大資料平台有需求的公司中,研發團隊規模遠沒有我們想像的大,29.11% 的研發團隊僅有 1-10 人,次居第二的 10-50 人的規模占到了 25.77%, 兩種規模的研發團隊就超過了一半。可見,當下大資料的需求已不止步於大型公司。

http://zkres.myzaker.com/201412/548580077f52e973440005e1_640.jpg

  研發團隊規模

  從傳統架構到大資料時代應用程式架構的轉變往往都會遇到一些問題和挑戰。在對計算框架門檻調查中,非專業人士難於入手這一難題的比例達到了 46.5%,這對企業人才的培訓提出了迫切的要求。

http://zkres.myzaker.com/201412/548580077f52e973440005e2_640.jpg

  當下計算框架使用過程中存在的問題

  打造大資料平台需要企業克服諸多問題和挑戰,尤其是安全性和可靠性方面。

http://zkres.myzaker.com/201412/548580077f52e973440005e3_640.jpg

  大資料平台打造的主要挑戰

  大資料技術現狀

  大資料技術在開發者或從業人員的應用中逐步走向成熟,這些成熟的技術在開發人員的探索中得到了初步的穩定發展,公司的使用便是對這些技術的肯定。包括開發語言,資料分析語言、資料庫等在內的大資料工具,究竟哪個更適合自己的業務,相信開發者們都有自己的評判標準。

  在眾多的開發語言中,大資料平台開發者們尤為青睞 Java,占到了總比例的 65%, 遠遠超過其他開發語言。值得一提的是,Hadoop 本身就由 Java 實現的。

http://zkres.myzaker.com/201412/548580077f52e973440005e4_640.jpg

  大資料開發語言

  在大資料分析語言中,SQL 的使用比例達到了 64%,是 R 語言使用者人數的 2 倍之多。我們從中不難看出 SQL-on-XXX 項目的前景;同時從 R 的支持率上,也看到了更多非技術人員,比如資料分析師對低門檻分析類語言的需求。

http://zkres.myzaker.com/201412/548580077f52e973440005e5_640.jpg

  大資料分析通常用的語言

  在大資料存儲上,HBase 則以 67.55% 的比例位居榜首,遠超其他資料倉庫,當然這點與 Hadoop 原生支持是分不開的。

http://zkres.myzaker.com/201412/548580077f52e973440005e6_640.jpg

  大資料存儲中適合的資料庫

  對存儲在 HBase Cassandra 這樣 NOSQL 資料庫中的資料進行複雜查詢,SolrElasticsearchSplunk 等主流的搜尋引擎差距並不大。

http://zkres.myzaker.com/201412/548580077f52e973440005e7_640.jpg

  對存儲在 NOSQL 資料庫中的資料進行複雜查詢,比較合適的工具

  大資料未來發展

  誠如上文所說,許多對大資料有需求的公司並不一定具備強大的研發團隊,在大資料處理過程中往往遭遇眾多挑戰。那麼,在面臨這些挑戰時,開發者最迫切需要的是什麼?

  為了解決公司中的實際問題,39.28% 的人希望擁有更犀利和通用的計算框架;37.88% 的人希望能擁有更好的資料採擷演算法;21.59% 的人則對保障性更高的運維有了更多的期盼。

http://zkres.myzaker.com/201412/548580077f52e973440005e8_640.jpg

  為了解決公司的實際問題,最希望擁有的新技術

  良好的大資料計算平台能夠有效地支撐企業的海量資料,對於下一代通用大資料技術平台,Spark Hadoop 是公司的主要選擇。同時,我們也看到了新貴 Spark 的發展前景,對比老將 Hadoop,差距也僅有 3.7%

http://zkres.myzaker.com/201412/548580077f52e973440005e9_640.jpg

  人們看好的下一代通用大資料計算平台

  現有公司中,大資料平台已包含的部件位居前三的主要是 SQL 資料庫(90.3%)、NoSQL 資料庫(50.7%)和 HDFS47.2%),在此基礎上,公司計畫添加的部件主要包含 SQL 資料庫(57.2%)、Spark41.5%)和 NoSQL 資料庫(26.9%)。從各公司已有大資料部件和計畫添加的部件可以看出,SQL 資料庫和 NoSQL 資料庫在公司的大資料平台中發揮了重要的作用,得到了各公司的青睞。

http://zkres.myzaker.com/201412/548580077f52e973440005ea_640.jpg

  現有大資料平台已包含的部件  

http://zkres.myzaker.com/201412/548580077f52e973440005eb_640.jpg

    現有大資料平台計畫添加的部件

  為了獲取更高的收益,企業在前期需要進行有效地成本投入,對大資料平台的投資,公司更加不會吝嗇,其中被調查的人群中,45.7% 的人所在企業有追加投資大資料平台的打算,同時,公司也期望能夠通過多種途徑完善大資料平台,主要的完善途徑包括基於開源平台自主研發、購買成熟的解決方案,使用公有雲。

http://zkres.myzaker.com/201412/548580077f52e973440005ec_640.jpg

  企業期望完善大資料平台的途徑

  使用公有雲也是企業期望完善大資料平台的有效途徑之一,在選擇公有雲平台方面,企業也面臨著很大的傾向性,45.26% 的人將阿里雲作為首選。

http://zkres.myzaker.com/201412/548580077f52e973440005ed_640.jpg

  公有雲平台的選擇

  大資料技術培訓

  技術培訓能夠對開發者起到一定的指導作用,使得聽眾可以系統全面的把握新技術的知識脈絡,瞭解技術的發展趨勢。在此次調查活動中,69.4% 的被調查者表示從未參加過大資料平台構建的技術培訓。對於技術培訓的形式,49% 的人希望是線上培訓,收費,成系列型的大資料解決方案,專攻一個方向,解決實際問題;37% 的被調查者還是希望免費進行技術培訓,即使不成系列,無論是線上線下,能聽一節是一節。雖然收費在一定程度上影響了開發者對大資料技術培訓的熱情,但是能夠切實解決實際問題,得到技術和能力的提升,仍是相關技術人員追求的培訓目標。

http://zkres.myzaker.com/201412/548580077f52e973440005ee_640.jpg

  更適合的技術培訓形式

  那麼,對開發者來說,大家特別期望從技術培訓中獲取的知識又會是什麼?

http://zkres.myzaker.com/201412/548580077f52e973440005ef_640.jpg

  大資料領域,迫切學習或參加培訓的新技術

  寫在最後

  根據本次調查,我們不難發現,大資料仍然只在少數公司的生產環境投入使用,造成這個情況的原因主要有兩個:首先,當下的大資料計算框架在使用上仍然存在很高的門檻;其次,受限於公司研發團隊的實力。在大資料平台打造上,大部分機構都期望通過自主研發來完成這個過程,同時也期望獲得更符合使用習慣的計算框架,比如 SQL。同時,在自主研發和購買解決方案添加大資料屬性之外,很多機構將注意力集中到雲計算,其中國內雲供應商阿里雲 45.26% 的得票率更是值得欣慰。

  附錄:中獎的小夥伴們(PS:不包含獲獎積分的同學)

http://zkres.myzaker.com/201412/548580077f52e973440005f0_640.jpg

  全國大資料創新專案評選活動目前正在如火如荼進行中,詳情點擊這裡

  2014 中國大資料技術大會Big Data Technology Conference 2014BDTC 2014)將於 2014 12 12 -14 日在北京新雲南皇冠假日酒店召開。傳承自 2008 年,歷經七屆沉澱," 中國大資料技術大會 " 是目前國內最具影響、規模最大的大資料領域技術盛會。本屆會議,你不僅可以瞭解到 Apache Hadoop 提交者 Uma Maheswara Rao G(兼專案管理委員會成員)、Yi Liu,以及 Apache Hadoop Tez 專案管理委員會成員 Bikas Saha 等分享的通用大資料開源專案的最新成果和發展趨勢,還將斬獲來自騰訊、阿里、ClouderaLinkedIn、網易等機構的數十場乾貨分享。

my

謝老師Q

謝邦昌主任

醫管系生技EMBA大數據所生統中心