An Introduction to HBase Native API

HBase is a distributed database, this article will introduce HBase Native API to help everyone have a preliminary understanding of HBase API.

阅读全文

Try to write technical blog with english

Preface

Today, I want to try to write the first blog with english.Maybe someone feel doubtful for its necessity. Obviously, our way of thinking is inferior to those of foreginers, and is hard to organize the whole article.However, What I want to say is that writing need take a log of time to train and summerize. Theory of 10,000 hours training is available for any fields, though my level can not hold a candle to write a professional article so far, but I believe quantitative may cause a qualitative change.

阅读全文

【原】Hadoop小文件存储方案

近来,业务部门因历史原因,希望对现存的图片、对账等历史文件进行改造,由原先的单机存储改成分布式存储便于管理和维护,目前组内也在大力推广HDFS在部门的应用 ,所以在此背景下,调研了目前关于HDFS的文件存储方案,本文会着重从小文件需求入手,分析目前各种现有小文件存储的状况及各自使用的场景。

阅读全文

【原】浅谈Phoenix在HBase中的应用

业务使用HBase已经有一段时间了,期间也反馈了很多问题,其中反馈最多的是HBase是否支持SQL查询和二级索引,由于HBase在这两块上目前暂不支持,导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL,但业界还是有现成的方案来支持,如Hive、Impala、Phoenix等。众多方案各有各的优势,本文主要对Phoenix作一个大概的介绍。

阅读全文

【原】Python解析mysqldump文件

最近在做离线数据导入HBase项目,涉及将存储在Mysql中的历史数据通过bulkload的方式导入HBase。由于源数据已经不在DB中,而是以文件形式存储在机器磁盘,此文件是mysqldump导出的格式。如何将mysqldump格式的文件转换成实际的数据文件提供给bulkload作转换,是需要考虑的一个问题。

阅读全文

【原】HBase读写异常问题总结

国庆期间,HBase集群出现一次比较严重的问题,故障期间,业务方反馈查询大量超时,由于涉及重点业务查询,影响也是比较大的。下面复盘一下问题发生过程并作相应分析

阅读全文

【原】Hadoop HA机制学习

最近在内部分享过一次关于Hadoop技术主题的演讲,由于接触时间不长,很多技术细节认识不够,也没讲清楚,作为一个技术人员,本着追根溯源的精神,还是有必要吃透,也为自己的工作沉淀一些经验总结。网上关于Hadoop HA的资料多集中于怎么搭建HA,对于HA为什么要这么做描述甚少,所以本文对于HA是如何搭建的暂不介绍,主要是介绍HA是怎么运作,QJM又是怎么发挥功效的。

阅读全文

揭开HDFS多副本的面纱

对于大多数分布式系统来说,多副本策略是基本的设计理念,HDFS也不例外,对于大多数人来说,设置多副本存储很简单,但对于多副本是如何设计的,这对于大家来说可能是一个黑盒子,本人对这个也一直很疑惑,于是就有了下文的诞生,旨在提供一种思路方便和大家一起能更好理解多副本这个神秘的玩意。

阅读全文

开篇导言

从今天开始,会陆续记录一些个人工作方面的总结及思考,以留后望

阅读全文