如何查看hadoop的进程（hadoop查看命令）

大家好，关于hadoop查看命令很多朋友都还不太明白，不过没关系，因为今天小编就来为大家分享关于如何查看hadoop的进程的知识点，相信应该可以解决大家的一些困惑和问题，如果碰巧可以解决您的问题，还望关注下本站哦，希望对各位有所帮助！

启动hadoop的命令行

1、bin/hadoop namenode -format 在分配的NameNode上，运行下面的命令启动HDFS：bin/start-dfs.sh bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。

2、1 然后ls命令显示 in目录下的文件 在这里插入图片描述 其中，start-all.sh就是Hadoop服务进程。

3、启动hadoop所有进程 start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。单进程启动。

4、NameNode进程，DataNode进程。使用start-dfs.sh命令启动集群时是指命令启动Hadoop集群，启动的进程有NameNode进程，DataNode进程。集群启动过程指集群完全启动时的启动过程，期间经历选举主节点、主分片、数据恢复等重要阶段。

5、resourcemanage。Hadoop启动过程 显示，hadoop搭建中，单独开启资源管理器的命令是resourcemanage。yarn-daemon.shstartresourcemanager是单独启动资源管理器。

6、windows系统上执行hadoop丛集，伪分散式模式安装步骤： ①启动cygwin，解压hadoop安装包。通过cygdrive(位于Cygwin根目录中)可以直接对映到windows下的各个逻辑磁碟分割槽。

如何查看hadoop集群是否安装成功(用jps命令

运行jps没有显示，应该是没有配置好系统的path、java_home和classpath。执行hadoop fs -ls等同于hadoop fs -ls .该命令查看的是hdfs的/user/hadoop目录。而且默认是没有这个目录的。需要自己创建。

首先查看在u用户下是否存在.ssh文件夹(注意ssh前面有“.”，这是一个隐藏文件夹)，输入命令：ls -a /home/u 一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建一个。

#启动所有YARN服务进程 或者：start-all.sh直接启动整个Hadoop集群服务 关闭则直接将上述指令中的start换成stop即可。在整个Hadoop集群服务启动完成后，可以在各自机器上通过jps指令查看各节点的服务进程启动情况。集群启动成功。

如何查看hadoop版本

1、Hadoop0。ApacheHadoop版本分为两代，第一代是Hadoop0，最新的第二代Hadoop称为Hadoop0。Hadoop0在前代的基础上增加了文件追加、HDFS文件链接等功能。

2、由于Hadoop非常受客户欢迎，许多公司都推出了自己的Hadoop版本，一些公司也围绕Hadoop开发了产品。在Hadoop生态系统中，Cloudera是最大最著名的公司。

3、导入数据设置HADOOP_HOME HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments...下载合适的Sqoop并解压到硬盘，所谓合适即Sqoop的版本应该和Hadoop的版本相匹配。笔者的Hadoop版本是03，下载的Sqoop是版本2。

4、版本之前可以通过hadoop自带的web管理界面查看，端口是50030；0之后没有map和reduce slot的概念，所以也就没有map数量一说，改成了直接对资源进行管理。

hadoop+dfsadmin+-report命令用于检测hdfs损坏块对吗?

1、hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。(错误 ) 2 Hadoop 默认调度器策略为 FIFO(正确 ) 2 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。

2、对name node：，在bin目录下执行：start-all.sh hadoop dfsadmin –safemode leave hadoop dfsadmin –report， 查看节点情况，看到类似界面显示available的Datanodes 。

3、个错误是因为多次hdfs namenode -format导致namespaceID不同，删掉datanode配置的dfs.data.dir目录后然后执行以下步骤。

4、ID的不一致，因为每格式化一次会产生Name、Data、tmp等临时文件记录信息，多次格式化会产生很多，会导致ID的不同，所以已经格式化过的集群要先删除各个电脑中的临时文件等。

5、dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

6、-report都仍然显示该datanode节点。除非重新启动namenode。之所以重新启用exclude的节点时可以stop datanode，因为此时该datanode不包含在cluster中，所以，stop后不会造成数据丢失。

END，本文到此结束，如果可以帮助到大家，还望关注本站哦！