Hadoop学习笔记1 - 使用Java API访问远程hdfs集群 - 编程天地

转载请标注原链接 http://www.cnblogs.com/xczyd/p/8570437.html

2018年3月从新司重新起航了。之前在某司过了的蛋疼三个月，也算给自己放了个小假了。

第一个小目标，从腾讯云上的hdfs集群拷贝一些文件到本地。唔唔，听上去似乎很简单的样子。

于是新建了一个Java的Maven工程，在pom.xml中添加如下依赖：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.6.0</version>
</dependency>

由于腾讯云上的集群是hdfs-2.6.0版本，所以我们的客户端也用2.6.0，尽量保持一致。

不过2.6.0可不是一个好版本，因为它与任何已知的HBase版本都不能做到兼容|||- -

HBase与Hadoop的兼容性详情见http://hbase.apache.org/book.html#configuration

然后，简单百度了一下访问hdfs的Java API的写法，于是得到了下面的代码：

// 根据给定的URI和用户名，访问hdfs的配置参数
 Configuration conf = new Configuration();
 // 允许访问datanode时使用域名，默认使用IP
 conf.set("dfs.client.use.datanode.hostname","true");
// Hadoop的用户名,应当与远端启动hdfs进程的用户名相同，或者根据hdfs的安全设置自行配置
 String hdfsUserName = "root";
 URI hdfsUri = null;
 try {
     // NameNode的访问路径
     hdfsUri = new URI("hdfs://hd-nn-test-01:9000");
 } catch (URISyntaxException e) {
     e.printStackTrace();
 }
 try {
     // 创建FileSystem对象,并调用copyToLocalFile函数将hdfs中的一个文件拷贝到本地目录
     FileSystem fs = FileSystem.get(hdfsUri, conf, hdfsUserName);
     fs.copyToLocalFile(new Path("/tmp/test.txt"),
         new Path("/tmp"));
 } catch (IOException e) {
     e.printStackTrace();
 } catch (InterruptedException e) {
     e.printStackTrace();
 }