扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)JavaAPI操作HDFS之文件上傳實(shí)現(xiàn)
2018-09-20 10:23:19
1334瀏覽
今天扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)老師給大家介紹一下關(guān)于JavaAPI操作HDFS之文件上傳實(shí)現(xiàn)的詳細(xì)介紹,希望對同學(xué)們學(xué)習(xí)大數(shù)據(jù)有所幫助,下面我們一起來看一下吧。
HDFS核心類簡介
Configuration類:處理HDFS配置的核心類。
FileSystem類:
處理HDFS文件相關(guān)操作的核心類,包括對文件夾或文件的創(chuàng)建,刪除,查看狀態(tài),復(fù)制,從本地挪動到HDFS文件系統(tǒng)中等。
Path類:處理HDFS文件路徑。
IOUtils類:處理HDFS文件讀寫的工具類。
核心類中重要方法簡介
1、FileSystemget(URIuri,Configurationconf)
根據(jù)HDFS的URI和配置,創(chuàng)建FileSystem實(shí)例
2、publicbooleanmkdirs(Pathf)throwsIOException
根據(jù)路徑創(chuàng)建HDFS文件夾
3、FSDataOutputStreamcreate(Pathf,booleanoverwrite)
根據(jù)具體的路徑創(chuàng)建文件,并且知名是否以重寫的方式
4、abstractbooleandelete(Pathf,booleanrecursive)
根據(jù)路徑刪除文件
5、abstractFileStatus[]?listStatus(Pathf)
根據(jù)路徑,返回該路徑下所有文件夾或文件的狀態(tài)。
6、VoidmoveFromLocalFile(Pathsrc,Pathdst)
將本地路徑下的文件,挪動到HDFS的指定路徑下
7、FSDataInputStreamopen(Pathf)
打開指定路徑下的文件內(nèi)容
關(guān)鍵步驟說明
第一步:開發(fā)環(huán)境準(zhǔn)備,包括JDK、開發(fā)工具的安裝
第二步:創(chuàng)建項(xiàng)目,配置jar依賴pom.xml文件
第三步:編寫核心代碼
具體代碼實(shí)戰(zhàn)

最后,可通過HDFS的UI界面查看、Hadoopshell兩種方式查看文件是否上傳到文件系統(tǒng)。以上就是關(guān)于JavaAPI操作HDFS之文件上傳實(shí)現(xiàn)的詳細(xì)介紹,希望本文對同學(xué)們有所幫助,扣丁學(xué)堂提供完整大數(shù)據(jù)學(xué)習(xí)路線內(nèi)容包含Linux&&Hadoop生態(tài)體系、大數(shù)據(jù)計算框架體系、云計算體系、機(jī)器學(xué)習(xí)&&深度學(xué)習(xí)等大數(shù)據(jù)視頻教程內(nèi)容,根據(jù)大數(shù)據(jù)學(xué)習(xí)路線圖可以讓你對學(xué)習(xí)大數(shù)據(jù)需要掌握的知識有個清晰的了解,并快速入門大數(shù)據(jù)開發(fā),扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群:769591751
【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】
查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>
標(biāo)簽:
大數(shù)據(jù)培訓(xùn)
大數(shù)據(jù)視頻教程
大數(shù)據(jù)分析培訓(xùn)
大數(shù)據(jù)學(xué)習(xí)視頻
Hadoop生態(tài)圈