hadoop数据处理流程，hadoop数据分析命令

如何架构大数据系统hadoop

1、创建弹性数据湖 创建数据湖并不容易，但大数据存储可能会有需求。

2、Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。

3、Hadoop通用：提供Hadoop模块所需要的Java类库和工具。Hadoop YARN：提供任务调度和集群资源管理功能。Hadoop HDFS：分布式文件系统，提供高吞吐量的应用程序数据访问方式。

4、总的来说，目前围绕Hadoop体系的大数据架构大概有以下几种： 传统大数据架构 Lambda架构算是大数据系统里面举足轻重的架构，大多数架构基本都是Lambda架构或者基于其变种的架构。Lambda的数据通道分为两条分支：实时流和离线。

5、大数据分析大分类 Hadoop平台对业务的针对性较强，为了让你明确它是否符合你的业务，现粗略地从几个角度将大数据分析的业务需求分类，针对不同的具体需求，应采用不同的数据分析架构。

csv数据导入Hadoop中的HDFS

1、HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。

2、将.csv格式数据导入数据库：方式在MySQL或者是SQLServer中直接编写代码，创建表格，而后导入数据。数据库 注意：导入数据的格式要与建立数据库时的格式相同，否则会乱码。

3、两种效果均不是很理想，究其原因，主要是两种方法导出的文件都不是标准CSV。目前使用比较顺畅的方式是通过spark-shell2， 先把Hive表转化为DataFrame，再基于DataFrame.writer.csv()DataFrameWriter.csv导出到HDFS。

如何使用Hadoop读写数据库

方法一：在hadoop上使用hbase数据库，以为hbase是不走Map/Rece的，所以操作在毫秒级。方法二：将业务数据用程序分成实时数据和冷数据，实时数据存于关系数据库，冷数据存到hadoop。

对于前者，你可以使用hbase或者hive作为数据存储，当然你也可以使用hadoop自己的分布式存储系统hdfs，不过hbase和hive可以提供给你数据库类的结构存储，更方便操作。

(3)Hive是Hadoop架构中的数据仓库，主要用于静态的结构以及需要经常分析的工作。 Hbase主要作为面向列的数据库运行在HDFS上，可存储PB级的数据。 Hbase利用MapReduce来处理内部的海量数据，并能在海量数据中定位所需的数据且访问它。

步骤 Hive提供了jdbc驱动，使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作，首先我们需要将这些驱动拷贝到报表工程下面，然后再建立连接，最后通过连接进行数据查询。