注:查看日志,看问题出现在哪
1.查看日志(最下面附图)
-
进入安装好的hadoop文件下的logs下(cd命令)
-
查看logs下各文件(ls命令)
-
进入节点缺失的log文件下(cd 命令)——文件名太长用tab键补全
-
找到问题所在(复制找百度)
2.大部分问题都是进程被占用。
-
lsof -i:端口号
#查看那个进程被占用
-
kill -9 进程号
#杀掉进程
-
stop-all.sh
#停止hadoop集群
-
start-all.sh
#启动hadoop集群
-
jps
#再次查看节点状态
1.查看日志
2.看日志里面是否有端口号问题,有就查看端口号是有有进程占用
启动hadoop集群时namenode、datanode、resourcemanager等节点缺失问题解决注:查看日志,看问题出现在哪1.查看日志(最下面附图)进入安装好的hadoop文件下的logs下(cd命令)查看logs下各文件(ls命令)进入节点缺失的log文件下(cd 命令)——文件名太长用tab键补全找到问题所在(复制找百度)2.大部分问题都是进程被占用。lsof -i:端口号 #查看那个进程被占用kill -9 进程号 #杀掉进程stop-all.sh
1:换版本(例如1.8)
2:可以直接下载activation-1.1.1.jar到lib目录下
直接下载activation-1.1.1.jar到lib目录下,或者本地上传到${
HADOOP
_HOME}/share/
hadoop
/yarn/lib目录下后重新
启动
start-yarn.sh即可
cd ${
HADOOP
_HOME}/share/hado
努力之后总是存在回报的,我花了三天
时
间终于找到了
问题
所在:
配置文件yarn-site.xml:
<property> <name>yarn.
resource
manager
.recovery.enabled</name>
<!--默认值为false,也就是说
resource
manager
挂了相应的正在运行的任务在rm恢复后...
第一次
启动
hadoop
分布式
集群
时
,两台从
节点
的
data
node
并未出现
查资料有的说是格式化多次然后clusterID不匹配的、有的说要把dfs/
data
里的数据删除并
重启
hadoop
集群
,但是我的
集群
是第一次
启动
并且dfs/
data
里面空空如也,没有任何数据。后面查看日记文件,发现用户对dfs/
data
这个文件没有写权限
然后就去查看了这个文件的权限,然后看到这个文件的所有者是root用户,而我
启动
hadoop
集群
的用户为
hadoop
,所以就把这个文件的所有者改为
hadoop
并
重启
hadoop
集群
,
一般
hadoop
集群
重启
后会立即处于安全模式,主
节点
检查各个从
节点
数据正常后会自动解除安全模式,是否
丢失
数据可使用命令 “
hadoop
fsck 路径"来进行查看,例如:
hadoop
fsck / 查看根目录下所有文件的健康状况,是否有损坏的数据块
如果
重启
前你的
集群
是正常的,没有
丢失
数据,而
重启
结束之后检查发现该目录下...
问题
描述:
hadoop
集群
启动
时
,
data
node
进程
启动
不了
原因分析:name
node
和
data
node
下VERSION文件中的clusterID不一致,导致
data
node
启动
不了
解决
方法:进入
hadoop
的配置目录
hadoop
-2.7.1/etc/
hadoop
,进入
hdfs
-site.xml配置文件,找到name
node
和
data
node
的配置空间
<!--配置name
node
数据存放的位置,可以不配置,如果不配置,默认用的是core-site.xml里配置的
hadoop
.t
描述:在
hadoop
运行start-all.sh,发现缺少了Name
Node
, 缺少
Resource
Manager
, 缺少
Node
Manager
…等等的服务。这类
问题
有统一的
解决
方案。即查阅
hadoop
日志。
1.
hadoop
日志
2.1 没有Name
Node
(选读)
2.2 没有
Resource
Manager
和
Node
Manager
(选读)
2.3 没有
Resource
Manage(选读)
3. 总结
1.
hadoop
日志
hadoop
日志位于
hadoop
安装目录下的logs里,包含
报错是在执行hive查询的
时
候报的,从报错我们可以看出这是一个map reduce阶段读取数据
时
候报错,是读取文件数据块异常的
问题
,我们可以理解为数据文件块损坏或
丢失
问题
。
遇到这个
问题
是因为之前升级HA
集群
关闭了较长一段
时
间,前端采集数据使用的是flume,关闭
集群
导致flume数据到
hdfs
文件没有正常关闭。因此在造成这个
问题
。因此我们需要找到没有正常关闭的文件并将他们修复。1、通过命令
hdfs
fsck /user/hive -openforwr
4. 等待一段
时
间,直到
Resource
Manager
启动
成功。
5. 可以通过访问http://localhost:8088/查看
Resource
Manager
的Web界面。
注意:在
启动
Resource
Manager
之前,需要先
启动
Hadoop
的Name
Node
和
Data
Node
。
An Errors/BindingResult argument is expected to be declared immediately after the model attribute
Tag name expected 解决— mybatis的xml文件小于号问题
spring框架基础知识