千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)
關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程
在千鋒大數(shù)據(jù)培訓(xùn)第二階段的學(xué)習(xí)剛剛結(jié)束,讓我感覺到時間總是像從指尖流過的細(xì)沙,在不經(jīng)意間悄然滑落。那些往日的憂愁和悲傷,在似水流年的蕩滌下隨波輕輕地逝去,而留下的歡樂和笑靨就在記憶深處歷久彌新,而對于編程技術(shù)的學(xué)習(xí),我想更多的還是需要去總結(jié),才能更好的進(jìn)步。
在千鋒大數(shù)據(jù)培訓(xùn)第二階段的學(xué)習(xí),第一部分就是HDFS文件存儲系統(tǒng)。就像我們操作系統(tǒng)的任意一種存儲系統(tǒng)一樣,這個模塊決定了文件存在哪里,怎么存取。只不過他被hadoop集成使用。
主要的進(jìn)程有三個:NameNode 、DataNode 、Secondary、Name這三個類,是有main函數(shù)的;第二部分就是計算框架mapreduce,同hadoop1.x里的實現(xiàn)基本一致;第三部分是調(diào)度框架yarn。yarn的作用是什么?調(diào)度!這個詞是精髓,調(diào)度資源,調(diào)度任務(wù)。主要進(jìn)程:resourceManager ApplicationMaster,NodeManager這三個類,也是有main函數(shù)的。resourceManager 接到客戶端提交的任務(wù),會申請資源(container),本質(zhì)是在集群中的一臺機器上,與其上的NodeManager協(xié)調(diào),在資源上啟動ApplicationMaster。然后把job的控制權(quán)交給ApplicationMaster。后者接管后,根據(jù)任務(wù)的描述信息,去向resourceManager 申請運行task的資源。根據(jù)resourceManager 的回饋(資源可用情況描述),與可用的節(jié)點(NodeManager)協(xié)調(diào),啟動task任務(wù)。task任務(wù)啟動,那么就使用計算框架內(nèi)容執(zhí)行具體的計算了,而hdfs文件讀取,貫穿于整個job執(zhí)行階段,這些是第二階段總結(jié)。
或許你對以上的總結(jié)沒有特別清晰的理解,但要知道的就是學(xué)習(xí)編程技術(shù)一定是給自己學(xué)的,而不是應(yīng)付學(xué)習(xí),最重要的就是要擺正學(xué)習(xí)態(tài)度,才會有進(jìn)步的空間和提升。
相關(guān)文章
了解千鋒動態(tài)
關(guān)注千鋒教育服務(wù)號
掃一掃快速進(jìn)入
千鋒移動端頁面
掃碼匿名提建議
直達(dá)CEO信箱