HDFS的shell操作和JavaAPI的使用：

WEB

WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。

WEB端口50070可以查看HDFS的信息和目录结构

SHELL

查看

hdfs dfs -ls [-d][-h][-R] <paths>[-d]:返回path[-h]:按照KMG数据大小单位显示文件大小，默认B[-R]:级联显示paths下文件

 创建文件夹

hdfs dfs -mkdir [-p]<paths>

 新建文件

hdfs dfs -touchz<paths>

 查看文件

hdfs dfs -cat/[-ignoreCrc] [src]hdfs dfs -text -ignoreCrc /input/test #忽略校验hdfs dfs -cat -ignoreCrc /input/test

 追写文件

hdfs dfs --appendToFile <localsrc> <dst>如果localsrc为"-"表示数据来自键盘输入用"Ctrc+C"取消输入

 上传下载

hdfs dfs -put [-f][-p]<localsrc> <dst> # 上传到指定目录hdfs dfs -get [-p]<src> <localhost> # 现在到本地

 删除文件

hdfs dfs -rm [-f] [-r] <src>-f 如果要删除的文件不存在,不显示错误信息-r/R 级联删除目录下所有文件和子目录文件

 磁盘空间

hdfs dfs -du[-s][-h]<path>[-s]显示指定目录所占空间大小[-h]按照K M G 数据显示文件大小

 JAVA API

步骤

1. 实例化Configuration

Configuration封装了客户端或服务器的配置，Confiuration实例会自动加载HDFS的配置文件core-site.xml，从中获取Hadoop集群中的配置信息。因此我们要把集群的配置core-site.xml放在Maven项目的resources目录下。

Configuration conf = new Configuration();

1. 实例化FileSystem

FileSystem类是客户端访问文件系统的入口，是一个抽象的文件系统。DistributedFileSystem类是FileSystem的一个具体实现。实例化FileSystem并发挥默认的文件系统代码如下：

FileSystem fs = FileSystem.get(conf);

1. 设置目标对象的路径

HDFS API 提供了Path类来封装文件路径。PATH类位于org.apache.hadoop.fs.Path包中，代码如下：

Path path = new Path("/input/write.txt");

 执行文件操作

得到Filesystem实例后，就可以使用该实例提供的方法成员执行相应的操作。如果：打开文件，创建文件、重命名文件、删除文件。

? FileSystem类常用成员函数

上传文件

package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.net.URI;public class PutFile { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"),conf,"hadoop"); //本地文件 Path src = new Path("D:\\上传文件.txt"); //HDFS 路径 Path dst = new Path("/input/上传文件.txt"); fs.copyFromLocalFile(src, dst); fs.close(); System.out.println("文件上传成功"); }}

 创建文件

package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.net.URI;public class CreateFile { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop"); Path dfs = new Path("/input/上传文件.txt"); FSDataOutputStream newFile = fs.create(dfs, true); //是否覆盖文件 true 覆盖 false 追加 newFile.writeBytes("this is a create file tes"); System.out.println("创建文件成功"); }}

 文件详情

package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.net.URI;import java.text.SimpleDateFormat;import java.util.Date;public class SeeInfo { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop"); // HDFS文件 Path fpath = new Path("/input/上传文件.txt"); FileStatus fileLinkStatus = fs.getFileLinkStatus(fpath); //获得块大小 long blockSize = fileLinkStatus.getBlockSize(); System.out.println("blocksize: " + blockSize); //获得文件大小 long len = fileLinkStatus.getLen(); System.out.println("Filesize: " + len); //获得文件所有者 String owner = fileLinkStatus.getOwner(); System.out.println("FileOwner: " + owner); //获得创建时间 SimpleDateFormat formater = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss"); long accessTime = fileLinkStatus.getAccessTime(); System.out.println("access time: " + formater.format(new Date(accessTime))); //获得修改时间 long modificationTime = fileLinkStatus.getModificationTime(); System.out.println("modify time: " + formater.format(new Date(modificationTime))); }}

下载文件

package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import java.io.FileOutputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;public class GetFIle { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop"); // HDFS 文件 InputStream in = fs.open(new Path("/input/上传文件.txt")); //保存到本地位置 OutputStream out = new FileOutputStream("D://下载文件.txt"); IOUtils.copyBytes(in, out, 4096, true); System.out.println("下载文件成功"); fs.close(); }}

 删除文件

package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.net.URI;public class DeleteFile { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop"); Path path = new Path("/input/上传文件.txt"); fs.delete(path); System.out.println("删除成功"); }}