hbase balance命令，hbasebulkload命令

谁亲自做过用mapreduce生成HFILE,再用BulkLoad入HBase表

生成HFile文件 Bulk Load的第一步会执行一个Mapreduce作业，其中使用到了HFileOutputFormat输出HBase数据文件：StoreFile。HFileOutputFormat的作用在于使得输出的HFile文件能够适应单个region。

第一步，通过MapReduce任务生成HFile。假设这个过程使用的HDFS账号为：u_mapreduce. 第二步，将HFile加载到HBase集群，假设这个步骤使用的账号为：u_load。

Hive 跑批 建表 默认第一个字段会作为hbase的rowkey。导入数据 将userid插入到列key，作为hbase表的rowkey。

就是正式的 load 阶段，最终定位到 HStore 里面的 bulkLoadFile 方法 通过 StoreFile reader 读取 StoreFile ，获取写锁，往 storefile 中新增数据。

关于hbase的问题,开启hbase后一会hmaster和hregionserver就没了...

1、测试环境正常，生产环境下，时不时出现HRegionServer挂掉的情况， 而HMaster正常。 重启Hbase之后，短时间内恢复正常，然而一段时间之后，再次出现RegionServer挂掉的情况。 因此，我们决定对此故障进行深入排查，找出故障原因。

2、网络延迟。HBase是一个分布式的、面向列的开源数据库，RegionServer是HBase系统中最核心的组件，主要负责用户数据写入、读取等基础操作，没有请求显示，是因为网络延迟，可以重启Regionserver。

3、使用上述解决方案后本次异常依旧存在，并且HMaster和HRegionServer都不断的自动挂掉。

4、您好，您这样：/：/mycluster：hdfs：hdfs：9000/：9000/，按照原理来讲：9000/，你试试；/：9000/。

5、每个Region的每个列族会对应一个MemStore，假设HBase表都有一个列族，那么每个Region只包含一个MemStore。一个MemStore大小通常在128~256MB，见参数： hbase.hregion.memstore.flush.size 。

6、解决方法：此问题产生的主要原因是因为zookeeper集群未关闭防火墙。

大数据治理平台——维度管理

苏宁八大产业，每个产业有自己的数据集市，每个数据集市有自己的维度表，没有统一的维度管理(包括管理规范和系统支撑)。

因为在磨合期，所以现有设备不能满足大数据时代的数据中心管理要求；运维管理人员的没有经过大数据时代新的运维管理思路的熏陶，技术水平与之不匹配；还有就是数据中心的运维管理制度不都完善，相应的管理水平不高。

数据治理分为四个阶段：第一阶段，梳理企业信息，构建企业的数据资产库。首先要清楚企业的数据模型、数据关系，对企业资产形成业务视图、技术视图等针对不同用户视角的展示。第二阶段，建立管理流程，落地数据标准，提升数据质量。

维度属于一个数据域，如地理维度(其中包括国家、地区、 省以及城市等级别的内容)、时间维度(其中包括年、季、月、周、日等级别的内容)。维度是维度建模的基础和灵魂。

在微观层，大数据治理的概念包括以下三个层面：数据获取与采集层：这一层面涉及到从各种来源收集和获取数据的过程。包括确定需要采集的数据类型和来源，建立数据采集系统和流程，并确保数据的准确性、完整性和及时性。

请教一个关于bulkload入库的问题,求解答交流

采购货物的运费，能进入采购成本中的可进入采购成本，无法进入的可作管理费用。运费发票经常滞后且金额不大，可直接做费用。 如果没有暂估运费，且运费发票和材料发票在同月到达可以先冲掉原来暂估入库，然后加上运费后重做。

拆分是把当前 HFile 拆分成两半，top 和 bottom 两部分，保留元数据，重建 bloom 过滤等，生成新的 HFile ，拆分策略是：根据匹配 region 的 endkey 的位置拆分成两个。

将hbase.bulkload.retries.number这个参数设置为更大的值，比如目标表的region数量或者将这个参数设置成0，0表示不断重试直到成功。设置之后问题解决。