2019-05-27 14:10:49 3874瀏覽
如今使用大數據處理的公司有很多，但是把Hadoop用起來很容易，但是要“用好”卻很難。本篇文章扣丁學堂大數據培訓小編給小伙伴們分享一下如何用好Hadoop，希望對讀者們有所幫助。
問：Hadoop適不適用于電子政務?為什么?
答：電子政務是利用互聯網技術實現政府組織結構和工作流程的重組優化，建成一個精簡、高效、廉潔、公平的政府運作信息服務平臺。因此電子政務肯定會產生相關的大量數據以及相應的計算需求，而這兩種需求涉及的數據和計算達到一定規模時傳統的系統架構將不能滿足，就需要借助海量數據處理平臺，例如Hadoop技術，因此可以利用Hadoop技術來構建電子政務云平臺。
總結一下，任何系統沒有絕對的適合和不適合，只有當需求出現時才可以決定，在一個非常小的電子政務系統上如果沒有打數據處理以及計算分析需求時就不需要hadoop這樣的技術，而實際上，商用的電子政務平臺往往涉及到大規模的數據和大量的計算分析處理需求，因此就需要Hadoop這樣的技術來解決。
問：hadoop對于實時在線處理有優勢嗎?
答：直接使用hadoop進行實時處理時沒有優勢的，因為Hadoop主要解決的是海量批處理作業計算問題，但是可以使用基于Hadoop的分布式NOSQL系統HBase系統以及相關實時處理系統：
1、基于Hadoop的HBase可以做到實時處理以及相關需求的實時計算，主要解決海量相關查詢計算等需求。
2、可以考慮Spark計算，Spark是基于共現內存RDD的系統，比Hadoop更快，時候迭代式計算，例如數據挖掘，機器學習算法等。
3、還有Storm，Storm是一個免費開源、分布式、高容錯的實時計算系統，Storm經常用于在實時分析、在線機器學習、持續計算、分布式遠程調用和ETL等領域。
4、考慮S4， S4是Yahoo!在2010年10月開源的一套通用、分布式、可擴展、部分容錯、具備可插拔功能的平臺。這套平臺主要是為了方便開發者開發處理流式數據(continuous unbounded streams of data)的應用。
你可以依據實際的需求來選擇合適的系統。
以上就是扣丁學堂大數據在線學習小編給大家分享的如何用好Hadoop，希望對小伙伴們有所幫助，想要了解更多內容的小伙伴可以登錄扣丁學堂官網咨詢。
想要學好大數據開發小編給大家推薦口碑良好的扣丁學堂，扣丁學堂有專業老師制定的大數據學習路線圖輔助學員學習，此外還有與時俱進的大數據課程體系和大數據視頻教程供大家學習，想要學好大數據開發技術的小伙伴快快行動吧?？鄱W堂大數據學習群：209080834。
【關注微信公眾號獲取更多學習資料】 【掃碼進入HTML5前端開發VIP免費公開課】
全國免費咨詢熱線
郵箱：codingke@1000phone.com
官方群：148715490
返回頂部