hive 常用命令，hivee命令

spark、hive、impala、hdfs的常用命令

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

和HIVE的ANALYZE TABLE类似，这个命令主要也是为了优化查询，加快查询的速度。本来IMPALA是依靠HIVE的ANALYZE TABLE的，但是这个命令不是很好用同时不稳定，所以IMPALA自己实现了个命令完成相同功能。

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。

HDFS是建立在多台节点上的分布式文件系统，用户可以通过hdfs命令来操作分布式文件系统。

如何查看hive版本?

通过在集群上执行：hadoop version 命令可以查看对应的hadoop的版本。查看hadoop集群的位数：执行：cd $HADOOP_HOME/lib/native file libhadoop.so.0.0 Hadoop属于一个能够对大量数据进行分布式处理的软件框架。

启动日志可以查看，注意下端口占用问题，如下。启动时候，使用beeline工具连接上，主要这里不用使用cdh默认安装hive提供的beeline工具，应为版本太高。使用编译后spark生成beeline工具 参考beeline使用教程。

在 右上角的搜索框中输入string，当中key为hive.query.string相应的value值就是完整的hive SQL语。如图之前并没有好好看过Hadoop监控页面。如今发现这里事实上也是值得研究的。

第一种方法是可以加上mapjoin指示 第二种方法是设置 set hive.auto.convert.join=true；来让hive自动优化。

如何在Java中执行Hive命令或HiveQL

其中command可以是其它Hive命令，不一定是HiveQL。

JDBC连接的方式，当然还有其他的连接方式，比如ODBC等， 这种方式很常用，可以在网上随便找到，就不再累赘了。不稳定，经常会被大数据量冲挂，不建议使用。

hive最终都会转化为mapreduce的job来运行。要想hive调优，实际上就是mapreduce调优，可以有下面几个方面的调优。

通过HiveQL加载数据：Hive可以通过HiveQL语句来加载数据，无论是结构化数据（如CSV、JSON）还是非结构化数据（如文本文件）。使用HiveQL加载数据相对简单，适用于较小规模的数据集。

例如，检查变量类型是否正确、运算符使用是否正确等。生成字节码：如果没有发现错误，javac命令将生成字节码，即扩展名为.class的文件。字节码是Java虚拟机（JVM）能理解的执行代码。

导出hive数据,用逗号分割

“，”分割。你字段里面有逗号说明这个单元格的值是一个字符串，所以要加 引号 。

场景 使用sqoop从MySQL导出数据至Hive时，如果数据中包含hive指定的列分隔符，如\001 或\t，那么在Hive中就会导致数据错位；如果数据中包含换行符\n，那么就会导致原先的一行数据，在Hive中变成了两行。

在进行数据分析时，尤其要对网页进行分析时，我们往往要对其中部分的数据进行抽取，这个就需要靠hive的函数来完成了。

说明： 按照pat字符串分割str，会返回分割后的字符串数组 语法： find_in_set(string str， string strList)返回值： int 说明： 返回str在strlist第一次出现的位置，strlist是用逗号分割的字符串。