hadoop對于很多人來說很陌生，可能有部分人在網(wǎng)上了解編程或者是大數(shù)據(jù)課程的時候見過hadoop這個詞，或者是聽別人說起過hadoop，但是對hadoop并了解，也不知道hadoop可以干些什么，下面小編給大家介紹一下hadoop的用途和應(yīng)用場景。

什么是hadoop？

Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），其中一個組件是HDFS。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，而MapReduce則為海量的數(shù)據(jù)提供了計算 。

hadoop開發(fā)工程師是做什么

簡單的說Hadoop是由java語言編寫的，是大數(shù)據(jù)的核心技術(shù)點，學(xué)習(xí)大數(shù)據(jù)開發(fā)必須要學(xué)習(xí)hadoop。Hadoop可以用來進行大數(shù)據(jù)存儲、日志處理、機器學(xué)習(xí)、搜索引擎、數(shù)據(jù)挖掘等，在分布式服務(wù)器集群上存儲海量數(shù)據(jù)并運行分布式分析應(yīng)用的開源框架，其核心部件是HDFS與MapReduce。

HDFS是一個分布式文件系統(tǒng)：引入存放文件元數(shù)據(jù)信息的服務(wù)器Namenode和實際存放數(shù)據(jù)的服務(wù)器Datanode，對數(shù)據(jù)進行分布式儲存和讀取。 MapReduce是一個計算框架：MapReduce的核心思想是把計算任務(wù)分配給集群內(nèi)的服務(wù)器里執(zhí)行。通過對計算任務(wù)的拆分（Map計算/Reduce計算）再根據(jù)任務(wù)調(diào)度器（JobTracker）對任務(wù)進行分布式計算。

hadoop應(yīng)用場景有哪些呢？

像Google這樣的大型互聯(lián)網(wǎng)搜索引擎，以及Yahoo專門的廣告分析系統(tǒng)，也許你會想，Hadoop平臺發(fā)揮作用的領(lǐng)域是互聯(lián)網(wǎng)行業(yè)，用來改善分析性能并提高擴展性。  

深入挖掘你會發(fā)現(xiàn)，Haddop的業(yè)務(wù)場景還是比較多的，如下：        

1、在線旅游：目前全球范圍內(nèi)80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版。

2、移動數(shù)據(jù)：國外有70%的智能手機數(shù)據(jù)服務(wù)都是由Hadoop來支撐的，包括數(shù)據(jù)的存儲和無線運營商的數(shù)據(jù)處理等都，所使用的都是Hadoop技術(shù)。

3、電子商務(wù)：eBay就是最大的實踐者。

4、能源開采：利用Hadoop進行數(shù)據(jù)的收集和處理

5、節(jié)能：為消費者提供節(jié)約電費的服務(wù)，其中對用戶電費單進行了預(yù)測分析。

Hadoopp的業(yè)務(wù)場景比較多，還有基礎(chǔ)架構(gòu)管理、圖像處理、詐騙檢測、IT安全、醫(yī)療保健等等，Hadoop未來的前景是非常明亮的，處在DT時代，人工智能和大數(shù)據(jù)的基本知識，一定要知道，我聽朋友說，多智時代這方面的科譜做不的不錯，有時間可以看看。

學(xué)hadoop有前景嗎？

首先，從當(dāng)前大數(shù)據(jù)領(lǐng)域的人才需求情況來看，掌握Hadoop相關(guān)內(nèi)容還是比較容易實現(xiàn)就業(yè)的，而且不少崗位的崗位附加值還比較高，從產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展的大趨勢來看，未來以Hadoop等平臺進行行業(yè)創(chuàng)新，將是一個重要的發(fā)展趨勢，相關(guān)的人才需求潛力也會比較大。