欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)入門之Hadoop基礎(chǔ)學(xué)習(xí)

2018-07-12 11:19:51 1399瀏覽

在目前相信大多數(shù)IT開發(fā)人員對于人工智能+大數(shù)據(jù)并不陌生，使用的場景也越來越廣，日常開發(fā)中前端同學(xué)也逐漸接觸了更多與大數(shù)據(jù)開發(fā)相關(guān)需求，導(dǎo)致越來越多IT開發(fā)程序員想要了解或參加大數(shù)據(jù)培訓(xùn)知識，下面是扣丁學(xué)堂老師整理一下關(guān)于大數(shù)據(jù)入門之Hadoop基礎(chǔ)學(xué)習(xí)介紹。

一、數(shù)據(jù)的存儲：分布式文件系統(tǒng)(分布式存儲)

二、數(shù)據(jù)的計算：分部署計算

(1)Java基礎(chǔ)和Linux基礎(chǔ)

(2)Hadoop的學(xué)習(xí)：體系結(jié)構(gòu)、原理、編程

第一階段：HDFS、MapReduce、HBase(NoSQL數(shù)據(jù)庫)

第二階段：數(shù)據(jù)分析引擎->Hive、Pig

數(shù)據(jù)采集引擎->Sqoop、Flume

第三階段：HUE：Web管理工具

ZooKeeper：實(shí)現(xiàn)Hadoop的HA

Oozie：工作流引擎

(3)Spark的學(xué)習(xí)

第一階段：Scala編程語言

第二階段：SparkCore->基于內(nèi)存、數(shù)據(jù)的計算

第三階段：SparkSQL->類似于mysql的sql語句

第四階段：SparkStreaming->進(jìn)行流式計算：比如：自來水廠

(4)ApacheStorm類似：SparkStreaming->進(jìn)行流式計算

NoSQL：Redis基于內(nèi)存的數(shù)據(jù)庫

HDFS

分布式文件系統(tǒng)解決以下問題：

硬盤不夠大：多幾塊硬盤，理論上可以無限大

數(shù)據(jù)不夠安全：冗余度，hdfs默認(rèn)冗余為3，用水平復(fù)制提高效率，傳輸按照數(shù)據(jù)庫為單位：Hadoop1.x64M，Hadoop2.x128M

管理員：NameNode硬盤：DataNode

![image.png](http://ata2-img.cn-hangzhou.img-pub.aliyun-inc.com/8ca9f78b244c7f991e73f71fd1e56421.png)

MapReduce

基礎(chǔ)編程模型：把一個大任務(wù)拆分成小任務(wù)，再進(jìn)行匯總

MR任務(wù)：Job=Map+Reduce

Map的輸出是Reduce的輸入、MR的輸入和輸出都是在HDFS

MapReduce數(shù)據(jù)流程分析：

Map的輸出是Reduce的輸入，Reduce的輸入是Map的集合

HBase

什么是BigTable?:把所有的數(shù)據(jù)保存到一張表中，采用冗余--->好處：提高效率

因?yàn)橛辛薭igtable的思想：NoSQL：HBase數(shù)據(jù)庫

HBase基于Hadoop的HDFS的

描述HBase的表結(jié)構(gòu)

核心思想是：利用空間換效率

Hadoop環(huán)境搭建

環(huán)境準(zhǔn)備

Linux環(huán)境、JDK、http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0-src.tar.gz

安裝

1、安裝jdk、并配置環(huán)境變量

vim/etc/profile末尾添加

![image.png](http://ata2-img.cn-hangzhou.img-pub.aliyun-inc.com/a9bf2e19410f9b3d38c8b0ca64b2f264.png)

2、解壓hadoop-3.0.0.tar.gz、并配置環(huán)境變量

tar-zxvfhadoop-3.0.0.tar.gz-C/usr/local/
mvhadoop-3.0.0/hadoop

配置

Hadoop有三種安裝模式：

本地模式：

1臺主機(jī)

不具備HDFS，只能測試MapReduce程序

偽分布模式：

1臺主機(jī)

具備Hadoop的所有功能，在單機(jī)上模擬一個分布式的環(huán)境

(1)HDFS：主：NameNode，數(shù)據(jù)節(jié)點(diǎn)：DataNode

(2)Yarn：容器，運(yùn)行MapReduce程序

主節(jié)點(diǎn)：ResourceManager

從節(jié)點(diǎn)：NodeManager

全分布模式：

至少3臺

我們以偽分布模式為例配置：

修改hdfs-site.xml：冗余度1、權(quán)限檢查false

　　<!--配置冗余度為1-->
　　<property>
　　<name>dfs.replication</name>
　　<value>1</value>
　　</property>
　　<!--配置權(quán)限檢查為false-->
　　<property>
　　<name>dfs.permissions</name>
　　<value>false</value>
　　</property>
　　修改core-site.xml
　　<!--配置HDFS的NameNode-->
　　<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://192.168.56.102:9000</value>
　　</property>
　　<!--配置DataNode保存數(shù)據(jù)的位置-->
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/usr/local/hadoop/tmp</value>
　　</property>

修改mapred-site.xml

　　<!--配置MR運(yùn)行的框架-->
　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yar</value>
　　</property>
　　<property>
　　<name>yarn.app.mapreduce.am.env</name>
　　<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
　　</property>
　　<property>
　　<name>mapreduce.map.env</name>
　　<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
　　</property>
　　<property>
　　<name>mapreduce.reduce.env</name>
　　<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
　　</property>
　　<property>
　　<name>mapreduce.application.classpath</name>
　　<value>
　　/usr/local/hadoop/etc/hadoop,
　　/usr/local/hadoop/share/hadoop/common/*,
　　/usr/local/hadoop/share/hadoop/common/lib/*,
　　/usr/local/hadoop/share/hadoop/hdfs/*,
　　/usr/local/hadoop/share/hadoop/hdfs/lib/*,
　　/usr/local/hadoop/share/hadoop/mapreduce/*,
　　/usr/local/hadoop/share/hadoop/mapreduce/lib/*,
　　/usr/local/hadoop/share/hadoop/yarn/*,
　　/usr/local/hadoop/share/hadoop/yarn/lib/*,
　　</value>
　　</property>

修改yarn-site.xml

　　<!--配置ResourceManager地址-->
　　<property>
　　<name>yarn.resourcemanager.hostname</name>
　　<value>192.168.56.102</value>
　　</property>
　　<!--配置NodeManager執(zhí)行任務(wù)的方式-->
　　<property>
　　<name>yarn.nodemanager.aux-service</name>
　　<value>mapreduce_shuffle</value>
　　</property>

格式化NameNode

hdfsnamenode-format

看到common.Storage:Storagedirectory/usr/local/hadoop/tmp/dfs/namehasbeensuccessfullyformatted表示格式化成功

啟動

start-all.sh

(*)HDFS：存儲數(shù)據(jù)

(*)YARN：

訪問

（*）命令行
（*）JavaApi
（*）WEBConsole

HDFS:http://192.168.56.102:50070

Yarn:http://192.168.56.102:8088

基本操作：

HDFS相關(guān)命令

-mkdir在HDFD創(chuàng)建目錄hdfsdfs-mkdir/data

-ls查看目錄hdfsdfs-ls

-ls-R查看目錄與子目錄hdfsdfs-ls-R

-put上傳一個文件hdfsdfs-putdata.txt/data/input

-copyFromLocal上傳一個文件與-put一樣

-moveFromLocal上傳一個文件并刪除本地文件

-copyToLocal下載文件hdfsdfs-copyTolocal/data/input/data.txt

-put下載文件hdfsdfs-put/data/input/data.txt

-rm刪除文件hdfsdfs-rm

-getmerge將目錄所有文件先合并再下載

-cp拷貝

-mv移動

-count統(tǒng)計目錄下的文件個數(shù)

-text、-cat查看文件

-balancer平衡操作

Hadoop是基于Java語言的，前端日常開發(fā)是用的PHP，在使用、查找錯誤時還是蠻吃力的。工作之余還是需要多補(bǔ)充點(diǎn)其它語言的相關(guān)知識，想要了解更多內(nèi)容的小伙伴可以登錄扣丁學(xué)堂官網(wǎng)咨詢，不僅有專業(yè)的老師和與時俱進(jìn)的課程體系，還有大量的大數(shù)據(jù)視頻教程供學(xué)員觀看學(xué)習(xí)哦。扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>>