一、背景描述

此時(shí)有node1，node2，node3虛擬機(jī)

HDFS中存在/itcast/1.txt文件

linux_node2中/test/下存在2.txt和3.txt

現(xiàn)在上傳本地2.txt,3.txt文件到HDFS中追加到1.txt文件的末尾

二、顯示報(bào)錯(cuò)如下

1.第一報(bào)錯(cuò)

[root@node2 ~]# hadoop fs -appendToFile 2.txt 3.txt /itcast/1.txt
2023-06-06 11:22:37,011 WARN hdfs.DataStreamer: DataStreamer Exception
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.88.152:9866,DS-c220bd52-1e8d-406a-ac61-8c310e39364f,DISK], DatanodeInfoWithStorage[192.168.88.151:9866,DS-115b8ce0-0944-44f6-8638-e123a08e806f,DISK]], original=[DatanodeInfoWithStorage[192.168.88.151:9866,DS-115b8ce0-0944-44f6-8638-e123a08e806f,DISK], DatanodeInfoWithStorage[192.168.88.152:9866,DS-c220bd52-1e8d-406a-ac61-8c310e39364f,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
        at org.apache.hadoop.hdfs.DataStreamer.findNewDatanode(DataStreamer.java:1304)
        at org.apache.hadoop.hdfs.DataStreamer.addDatanode2ExistingPipeline(DataStreamer.java:1372)
        at org.apache.hadoop.hdfs.DataStreamer.handleDatanodeReplacement(DataStreamer.java:1598)
        at org.apache.hadoop.hdfs.DataStreamer.setupPipelineInternal(DataStreamer.java:1499)
        at org.apache.hadoop.hdfs.DataStreamer.setupPipelineForAppendOrRecovery(DataStreamer.java:1481)
        at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:719)
appendToFile: /root/2.txt

原因：

• node3的HDFS的從節(jié)點(diǎn)失聯(lián)

解決：

• 可以查看我其他筆記查看這個(gè)問(wèn)題解決思路

2.第二個(gè)報(bào)錯(cuò)

[root@node2 ~]# hadoop fs -appendToFile 2.txt 3.txt /itcast/1.txt
appendToFile: Failed to APPEND_FILE /itcast/1.txt for DFSClient_NONMAPREDUCE_-1199279342_1 on 192.168.88.152 because lease recovery is in progress. Try again later.

原因：

• 文件的權(quán)限只有讀的權(quán)限

解決：

• 修改HDFS中的1.txt的文件權(quán)限

[root@node2 ~]# hadoop fs -chmod 777 /itcast/1.txt

3.第三個(gè)報(bào)錯(cuò)

[root@node2 ~]# hadoop fs -appendToFile 2.txt 3.txt /itcast/1.txt
appendToFile: /root/2.txt

原因：

• 發(fā)現(xiàn)上傳拼接的路徑不對(duì)，上述命令的路徑不是/目錄下

解決：

• 查看文件存在的路徑
• 修改文件上傳的路徑如下

[root@node2 ~]# ll
total 24
-rw-r--r--  1 root root     0 Jun  6 08:24 1.txt
-rw-------. 1 root root  1365 Jun  4 11:52 anaconda-ks.cfg
drwxr-xr-x  2 root root    84 Jun  6 08:36 test
-rw-r--r--  1 root root 19263 Jun  4 22:00 zookeeper.out
[root@node2 ~]# cd  test
[root@node2 test]# ll
total 16
-rw-r--r-- 1 root root 2 Jun  6 08:25 1.txt
-rw-r--r-- 1 root root 2 Jun  6 08:26 2.txt
-rw-r--r-- 1 root root 2 Jun  6 08:26 3.txt
-rw-r--r-- 1 root root 6 Jun  6 08:36 merge.txt
[root@node2 test]# hadoop fs -appendToFile 2.txt 3.txt /itcast/1.txt

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論