hadoop steaming中ERROR：Job not successful. of failed Reduce Tasks exceeded allowed limit.的解决办法
最新推荐文章于 2023-10-21 19:33:54 发布
wayne_l123
最新推荐文章于 2023-10-21 19:33:54 发布
阅读量4.3k
运行后出现了错误：ERROR streaming.StreamJob: Job not successful. Error: # of failed Reduce Tasks exceeded allowed limit. FailedCount: 1. LastFailedTask: task_201406150409_0003_r_000000
这个问题是说reduce任务执行超时，也就是reduce失败了。但是只通过这个输出是没法锁定问题所在的，还要去看运行日志（现在真心觉得hadoop日志太重要了，不管什么问题基本都能从日志中找到起因）。在日志中可以看到这样一个错误：
Caused by: java.io.IOException: Cannot run program "cat-file": java.io.IOException: error=2, No such file or directory
这个错误的意思是说找不到程序”cat-file“，但是我为reduce指定的程序其实是cat，看来是书写错误。赶紧回到脚本，发现-reducer cat和下一行的-file选项之间少了个空格，这让hadoop误以为cat和-file是一体的，所以导致了之前的错误。将空格加上后，问题得到解决。
@Tphoenix启动报错：
Error
: org.apache.
hadoop
.hbase.DoNotRetryIO
Exce
ption: Unable to load configured region sOC
报错内容如下：
Error
: org.apache.
hadoop
.hbase.DoNotRetryIO
Exce
ption: Unable to load configured region ...
当用户启动hbase后，在命令行上执行 list 或者 status 命令报错：
ERROR
: org.apache.
hadoop
.hbase.PleaseHold
Exce
ption:Master is initializ
ing
at org.apache.
hadoop
.hbase.master.HMaster.checkInitialized(HMaster.java:2379)
10/10/25 16:45:39 INFO mapred.
Job
Client: map 92%
reduce
30%
10/10/25 16:45:44 INFO mapred.
Job
Client:
Task
Id : attempt_201010251638_0003_m_000013_1, Status :
FAILED
java.io.IO
Exce
ption: Cannot o...
Hadoop
报错信息如下：
120 15/01/27 15:48:23
ERROR
streaming
.
Stream
Job
:
Job
not
su
ccess
ful
.
Error
: # of
failed
Map
Task
s
exce
eded
allowed
limit
.
Failed
Count: 4. Last
Failed
Task
:
task
_20150115
0420_80244_m
报错发生情况：用Python写好了一个MR程序，使用Linux环境本地测试正常。
在
Hadoop
环境上测试就报错。我的环境：$
hadoop
version
Hadoop
2.5.2
...执行指令：
hadoop
jar $
HADOOP
_INSTALL_HOME/contrib/
streaming
/
hadoop
-*
streaming
*.jar -file ./mapper.py -mapper
eclipse下提交
job
时报错mapred.
Job
Client: No
job
jar file set. User classes may not be found.
错误信息：
11/10/14 13:52:07 WARN mapred.
Job
Client: Use GenericOptionsParser for pars
ing
the arguments. Applications should implement Tool for the same.
Hadoop
问题解决之：java.lang.ClassNotFound
Exce
ption
Hadoop
问题解决之javalangClassNotFound
Exce
ption
1打包运行
2打包之后在Eclipse上运行
总结1.前言在使用Eclipse进行
hadoop
项目开发时，通过Eclipse运行编写好的
hadoop
项目，在运行项目时，可能会出现如下的异常信息：17/04/17 0
在使用HBase创建表时，会出现以下报错：
ERROR
: org.apache.
hadoop
.hbase.PleaseHold
Exce
ption: Master is initializ
ing
。这个问题很有意思，开始以为是HBase配置的原因（hbase-site.xml）。但是查到原因后我笑了，
解决办法
如下：
1.我的服务器是四台浪潮节点，首先查看各台服务器的时间：
[lw@cu01 ~]
1） 子进程返回错误1
java.lang.Runtime
Exce
ption: PipeMapRed?.waitOutputThreads():
su
bprocess
failed
with code 1
at org.apache.
hadoop
.
streaming
.PipeMapRed.waitOutputThreads(PipeMapRed?.java:320)
1.为何
hadoop
streaming
命令 。bin/
hadoop
jar
hadoop
-
streaming
-1.1.2.jar -input sjtu -output shuchu -mapper cat -
reduce
r wc 可以成功运行
bin/
hadoop
jar
hadoop
-
streaming
-1.1.2.jar -input sjtu -outp
23/10/21 19:26:16 WARN
streaming
.
Stream
Job
: -file option is deprecated, please use generic option -files instead.
package
Job
Jar: [./mapper.py, ./
reduce
.py, /tmp/
hadoop
-unjar935637017830187212/] [] /tmp/
stream
job
534230148902646237.jar tmpDir=null
23/10/21 1
[
hadoop
@master test]$
hadoop
jar /home/
hadoop
/
hadoop
-1.2.1/contrib/
streaming
/
hadoop
-
streaming
-1.2.1.jar -info
Warn
ing
: $
HADOOP
_HOME is deprecated.
14/12/15 14:06:32
ERROR
streaming
.
Stream
Job
: Mi
ubuntu启动
hadoop
报错：
Job
for
hadoop
.service
failed
because the control process exited with
error
code
当你在Ubuntu系统上尝试启动
Hadoop
服务时，如果遇到
Job
for
hadoop
.service
failed
错误，这通常意味着
Hadoop
主服务（如NameNode或
Job
Tracker）启动过程
中
遇到了问题，导致控制进程以非零退出代码结束。这种错误可能由多种原因引起，包括但不限于：
1. **配置文件问题**：检查
Hadoop
配置文件（如core-site.xml, hdfs-site.xml, yarn-site.xml等），确保它们正确地指定了
Hadoop
的安装路径、网络设置和资源限制。
2. **依赖缺失**：确保所有必要的库和组件已经安装，并且版本兼容。比如，Java、SSH、Zookeeper、HDFS和YARN等都需要正常运行。
3. **权限问题**：
Hadoop
服务可能需要特定的用户权限才能访问文件系统、日志目录或其他关键资源。确认这些权限是否已正确设置。
4. **磁盘空间不足**：检查
Hadoop
数据目录是否有足够的存储空间，如果没有，你需要清理一些空间或者调整配置。
5. **日志文件**：查看
Hadoop
的日志文件（通常是logs目录下的）以获取具体的错误信息，这有助于定位问题根源。
6. **网络问题**：确认集群内的节点间网络连接畅通，特别是
Hadoop
的通信端口（如8020, 9000等）是否对外开放并且可达。
7. **服务冲突**：检查是否有其他服务占用了
Hadoop
的服务端口，导致启动失败。
为了解决这个问题，你可以按照以下步骤进行排查：
1. **查看错误日志**：使用命令 `journalctl -u
hadoop
.service` 或 `
su
do journalctl -xe` 查看详细错误信息。
2. **检查服务状态**：`systemctl status
hadoop
.service` 看服务是否启动，以及启动时的输出。
3. **尝试重启服务**：`
su
do systemctl restart
hadoop
.service` 并观察是否能解决问题。
4. **修复问题后手动启动**：如果重启不成功，找到并解决日志
中
指出的具体错误，然后手动启动服务。
