旗下產業: A產業/ A實習/ A計劃
全國統一咨詢熱線:400-0100-444
首頁 > 熱門文章 > 大數據分析 > 什么是大數據分析Hadoop
什么是大數據分析Hadoop
時間:2020-01-13來源:www.528347.live點擊量:作者:Sissi
時間:2020-01-13點擊量:作者:Sissi



  要了解什么是Hadoop,我們必須首先了解與大數據和傳統處理系統有關的問題。前進,我們將討論什么是Hadoop,以及Hadoop如何解決與大數據相關的問題。我們還將研究CERN案例研究,以突出使用Hadoop的好處。
 

  在之前的博客“ 大數據教程”中,我們已經詳細討論了大數據以及大數據的挑戰。在此博客中,我們將討論:
 

  1、傳統方法的問題

  2、Hadoop的演變

  3、Hadoop的

  4、Hadoop即用解決方案

  5、何時使用Hadoop?

  6、什么時候不使用Hadoop?
 

一、CERN案例研究
 

  大數據正在成為組織的機會?,F在,組織已經意識到他們可以通過大數據分析獲得很多好處,如下圖所示。他們正在檢查大型數據集,以發現所有隱藏的模式,未知的相關性,市場趨勢,客戶偏好和其他有用的業務信息。
 

  這些分析結果正在幫助組織進行更有效的營銷,新的收入機會,更好的客戶服務。他們正在提高運營效率,與競爭對手組織相比的競爭優勢以及其他業務利益。
 

Hadoop  
什么是Hadoop –大數據分析的好處
 

  因此,讓我們繼續前進,了解在兌現大數據機會方面與傳統方法相關的問題。
 

二、傳統方法的問題
 

  在傳統方法中,主要問題是處理數據的異構性,即結構化,半結構化和非結構化。RDBMS主要關注于銀行交易,運營數據等結構化數據,而Hadoop則專注于文本,視頻,音頻,Facebook帖子,日志等半結構化,非結構化數據。RDBMS技術是一種經過驗證的,高度一致,成熟的系統許多公司的支持。另一方面,由于大數據(主要由不同格式的非結構化數據組成)對Hadoop提出了需求。
 

  現在讓我們了解與大數據相關的主要問題是什么。因此,繼續前進,我們可以了解Hadoop是如何成為解決方案的。
 

Hadoop  
什么是Hadoop –大數據問題

  第一個問題是存儲大量數據。
 

  無法在傳統系統中存儲大量數據。原因很明顯,存儲將僅限于一個系統,并且數據正在以驚人的速度增長。
 

  第二個問題是存儲異構數據。
 

  現在,我們知道存儲是一個問題,但是讓我告訴您,這只是問題的一部分。由于我們討論了數據不僅龐大,而且還以各種格式存在,例如:非結構化,半結構化和結構化。因此,您需要確保您擁有一個系統來存儲從各種來源生成的所有這些種類的數據。
 

  第三個問題是訪問和處理速度。
 

  硬盤容量正在增加,但磁盤傳輸速度或訪問速度并未以相似的速度增加。讓我以一個示例為您進行解釋:如果您只有一個100 Mbps I / O通道,并且正在處理1TB數據,則大約需要2.91個小時?,F在,如果您有四臺具有一個I / O通道的計算機,則對于相同數量的數據,大約需要43分鐘。因此,與存儲大數據相比,訪問和處理速度是更大的問題。
 

  在了解什么是Hadoop之前,讓我們首先了解一下Hadoop在一段時間內的發展。
 

  Hadoop的演變


Hadoop
 

  2003年,道格·切特(Doug Cutting)啟動了Nutch項目,以處理數十億次搜索并為數百萬個網頁建立索引。2003年10月下旬– Google發布帶有GFS(Google文件系統)的論文。2004年12月,Google發布了MapReduce論文。在2005年,Nutch使用GFS和MapReduce進行操作。2006年,雅虎與Doug Cutting及其團隊合作,基于GFS和MapReduce創建了Hadoop。如果我告訴您,您會感到驚訝,雅虎于2007年開始在1000個節點的群集上使用Hadoop。
 

  2008年1月下旬,雅虎向Apache Software Foundation發布了Hadoop作為一個開源項目。2008年7月,Apache通過Hadoop成功測試了4000個節點的集群。2009年,Hadoop在不到17小時的時間內成功整理了PB級數據,以處理數十億次搜索并為數百萬個網頁建立索引。在2011年12月,Apache Hadoop發布了1.0版。2013年8月下旬,發布了2.0.6版。
 

  當我們討論這些問題時,我們發現分布式系統可以作為解決方案,而Hadoop提供了相同的解決方案?,F在,讓我們了解什么是Hadoop。
 

三、什么是Hadoop?
 

  Hadoop是一個框架,它允許您首先在分布式環境中存儲大數據,以便可以并行處理它。 Hadoop中基本上有兩個組件:
 

  1、大數據Hadoop認證培訓

  2、講師指導的課程現實生活中的案例研究評估終身訪問探索課程

Hadoop  
什么是Hadoop – Hadoop框架

  第一個是用于存儲的HDFS(Hadoop分布式文件系統),它使您可以在集群中存儲各種格式的數據。第二個是YARN,用于Hadoop中的資源管理。它允許對數據進行并行處理,即跨HDFS存儲。
 

  讓我們首先了解HDFS。
 

  HDFS
 

  HDFS創建一個抽象,讓我為您簡化一下。與虛擬化類似,您可以在邏輯上將HDFS視為用于存儲大數據的單個單元,但是實際上您是在分布式方式下跨多個節點存儲數據。HDFS遵循主從架構。
 

Hadoop  
什么是Hadoop – HDFS
 

  在HDFS中,名稱節點是主節點,數據節點是從節點。 Namenode包含有關存儲在Data節點中的數據的元數據,例如哪個數據塊存儲在哪個數據節點中,數據塊的復制位置在哪里等 。實際數據存儲在Data Nodes中。
 

  我還想補充一下,實際上我們復制了數據節點中存在的數據塊,默認復制因子是3。 由于我們使用的是商用硬件,并且我們知道這些硬件的故障率很高,所以如果其中一個DataNodes失敗,HDFS將仍然具有那些丟失的數據塊的副本。 您還可以根據需要配置復制因子。您可以閱讀HDFS教程,詳細了解HDFS。
 

四、Hadoop即解決方案
 

  讓我們了解Hadoop如何為剛剛討論的大數據問題提供解決方案。
 

  Hadoop
什么是Hadoop – Hadoop即解決方案
 

  第一個問題是存儲大數據。
 

  HDFS提供了一種分布式大數據存儲方式。您的數據存儲在整個DataNode的塊中,您可以指定塊的大小?;旧?,如果您擁有512MB的數據,并且已經配置了HDFS,那么它將創建128MB的數據塊。 因此,HDFS將數據分為512/128 = 4的4個塊,并將其存儲在不同的DataNode上,還將在不同的DataNode上復制數據塊?,F在,由于我們正在使用商品硬件,因此存儲已不是難題。
 

  它還解決了縮放問題。它著重于水平縮放而不是垂直縮放。您始終可以根據需要隨時在HDFS群集中添加一些額外的數據節點,而不是擴展DataNodes的資源。讓我為您總結一下,基本上是用于存儲1 TB的數據,您不需要1 TB的系統。您可以在多個128GB或更少的系統上執行此操作。
 

  下一個問題是存儲各種數據。
 

  借助HDFS,您可以存儲各種數據,無論是結構化,半結構化還是非結構化。由于在HDFS中,沒有預轉儲模式驗證。并且它也遵循一次寫入和多次讀取模型。因此,您只需寫入一次數據,就可以多次讀取數據以尋找見解。
 

  Hird的挑戰是訪問和處理數據更快。
 

  是的,這是大數據的主要挑戰之一。為了解決該問題,我們將處理移至數據,而不是將數據移至處理。這是什么意思?而不是將數據移動到主節點然后進行處理。在MapReduce中,處理邏輯被發送到各個從屬節點,然后在不同的從屬節點之間并行處理數據。然后,將處理后的結果發送到主節點,在該主節點上合并結果,并將響應發送回客戶端。
 

  在YARN架構中,我們有ResourceManager和NodeManager。ResourceManager可能會或可能不會與NameNode配置在同一臺機器上。 但是,應該將NodeManager配置在存在DataNode的同一臺計算機上。
 

  YARN通過分配資源和安排任務來執行您的所有處理活動。

Hadoop

  什么是Hadoop – YARN
 

  它具有兩個主要組件,即ResourceManager和NodeManager。
 

  ResourceManager再次是主節點。它接收處理請求,然后將請求的各個部分相應地傳遞到相應的NodeManager,在此進行實際處理。NodeManager安裝在每個DataNode上。它負責在每個單個DataNode上執行任務。
 

  我希望現在您對什么是Hadoop及其主要組件有所了解。讓我們繼續前進,了解何時使用和何時不使用Hadoop。
 

  何時使用Hadoop?
 

  Hadoop用于:

  1、搜索 – Yahoo,亞馬遜,Zvents

  2、日志處理 – Facebook,雅虎

  3、數據倉庫 – Facebook,AOL

  4、視頻和圖像分析 –紐約時報,Eyealike
 

  到目前為止,我們已經看到了Hadoop如何使大數據處理成為可能。但是在某些情況下,不建議使用Hadoop。
 

  什么時候不使用Hadoop?
 

  以下是其中一些方案:

  1、低延遲數據訪問:快速訪問少量數據

  2、多種數據修改:僅當我們主要關注讀取數據而不修改數據時,Hadoop才是更好的選擇。

  3、大量小文件:Hadoop適用于只有少量大文件的情況。
 

  在了解了最合適的用例之后,讓我們繼續研究Hadoop創造奇跡的案例研究。
 

  Hadoop-CERN案例研究
 

  瑞士的大型強子對撞機是世界上最大,功能最強大的機器之一。它配備了約1.5億個傳感器,每秒產生PB的數據,并且數據在不斷增長。
 

  歐洲核子研究組織(CERN)的研究表明,這些數據在數量和復雜性方面一直在擴大,其中一項重要任務是滿足這些可擴展的需求。因此,他們設置了Hadoop集群。通過使用Hadoop,他們限制了硬件成本和維護復雜性。
 

  他們整合了Oracle和Hadoop,并獲得了整合的優勢。 Oracle優化了他們的在線交易系統和Hadoop,為他們提供了可擴展的分布式數據處理平臺。他們設計了一個混合系統,首先將數據從Oracle遷移到Hadoop。然后,他們使用Oracle API對來自Oracle的Hadoop數據執行查詢。他們還使用諸如 Avro& Parquet之類的Hadoop數據格式進行高性能分析,而無需更改連接到Oracle的最終用戶應用程序。
 

  他們在CERN-IT Hadoop服務上使用的主要Hadoop組件:
 

  1、您可以在Hadoop生態系統中了解每個工具。

  2、集成Oracle和Hadoop的技術:

  3、將數據從Oracle導出到HDFS

  4、Sqoop在大多數情況下都足夠好,他們還采用了其他一些可能的選項,例如自定義提取,Oracle DataPump,流式傳輸等。
 

  從Oracle查詢Hadoop
 

  他們使用Oracle中的數據庫鏈接訪問了Hadoop引擎中的表。通過透明地組合Oracle和Hadoop中的數據,還可以構建混合視圖。
 

  使用Hadoop框架處理Oracle數據庫中的數據
 

  他們使用Hadoop引擎(例如Impala,Spark)來處理從Oracle導出的數據,然后直接在JDBC中從Spark SQL在RDBMS中讀取該數據。


1個
2
3
create database link my_hadoop using 'impala-gateway';
 
select * from [email protected]_hadoop where col1= :val1;



  從Oracle卸載到Hadoop

  步驟1:將數據卸載到Hadoop

  步驟2:將查詢卸載到Hadoop

  步驟3:從Oracle查詢訪問Hadoop

  使用數據庫鏈接從Oracle查詢Apache Hive / Impala表

  通過ODBC網關將查詢分載到Impala(或Hive)

  在oracle上創建混合視圖的示例

hadoop

  根據CERN的案例研究,我們可以得出以下結論:
 

1個
2
3
4
5
6
7
create view hybrid_view as
 
          select * from online_table where date > '2016-10-01'
 
          union all
 
          select * from [email protected] where date <= '2016-10-01'

 

  1、Hadoop具有可伸縮性,非常適合大數據分析

  2、Oracle已證明可用于并發事務性工作負載

  3、解決方案可用于集成Oracle和Hadoop

  4、使用混合系統(Oracle + Hadoop)具有巨大的價值:

  5、適用于舊版應用程序和OLTP工作負載的Oracle API

  6、用于分析工作負載的商品硬件的可伸縮性
 

  我希望這個博客能為您提供豐富的信息,并為您的知識增加價值。在我們的Hadoop教程系列的下一個博客(即Hadoop教程)中,我們將更詳細地討論Hadoop,并詳細了解HDFS和YARN組件的任務。
 

  既然您已經了解了什么是Hadoop,請查看Edureka 的Hadoop培訓,Edureka是一家受信任的在線學習公司,其網絡遍布全球,共有250,000多名滿意的學習者。Edureka大數據Hadoop認證培訓課程使用零售,社交媒體,航空,旅游,金融領域的實時用例,幫助學習者成為HDFS,Yarn,MapReduce,Pig,Hive,HBase,Oozie,Flume和Sqoop的專家。


 

?2007-2019/北京漫動者教育科技有限公司版權所有
備案號:京ICP備12034770號

?2007-2019/ www.528347.live 北京漫動者教育科技有限公司 備案號: 京ICP備12034770號 監督電話:010-62568622 郵箱:[email protected]

福利彩票双色球开奖结果