• [微笑]这篇写得不错,没有逻辑上的问题!不过咱估计不会讨小萌们喜欢。 2019-07-16
  • 陈华德的专栏作者中国国家地理网 2019-07-16
  • 西藏迎来首家民营文化企业援藏团队 2019-07-14
  • “精日亲美的真正原因”是中国的伪公知精英身上长了“洋奴依附之心”,“崇洋媚外之骨”,“汉奸文化之瘤”,这些人利用“和谐、包容”疯狂推行汉奸文化洗脑国人! 2019-07-10
  • 合肥市公立医疗机构1271种医疗服务价格公示 部分服务涨价 2019-07-10
  • 文昌至临高高速公路有望年内开工 建成后车程缩至1小时内 2019-07-02
  • 加入我们中国国家地理网 2019-06-27
  • 强势发力体育营销 世界杯中国企业改变“旁观”窘状 2019-06-25
  • “道德瘾君子”侮辱了杨女士的善良 2019-06-25
  • 郑永年:争名逐利抢流量,中国的知识分子怎么了? 2019-06-21
  • 十九大代表拉措:团结一心跟党走   2019-06-18
  • 美钢铝关税政策引发各界忧虑 2019-06-18
  • 党的十九大最重大的理论成就 2019-06-15
  • 经济日报多媒体数字报刊 2019-06-15
  • 西安外事学院在省茶艺大赛中创多项佳绩西安外事学院-陕西教育新闻 2019-06-14
  • 欢迎来到魔据教育大数据学院,专注大数据工程师培养!
    当前位置:两肖两码中特资料网 > 新闻动态 > 行业资讯 > hadoop学习笔记

    期期公开一码两码中特: hadoop学习笔记

    时间:2018-09-30 10:27:20作者:[!--zuozhe--]

    两肖两码中特资料网 www.mqptd.tw   Hadoop DataBase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统,利用hadoop MapReduce来处理HBase来处理HBase中的海量数据,利用Zookeeper作为协调工具。

      行键Row key

      主键用来检索记录的主键,访问hbase table中的行

      通过单个row key访问

      通过row key的range

      全表扫描

      所有行按照行键字典顺序排序存储

      一行包括一列或者多列

      列族Column Family

      列族在创建表的时候声明,一个列族可以包含多个列

      一个列族的所有列存储在同一个底层的存储文件中,这个存储文件叫做HFile

      列族不能修改的过于频繁,数量也不能太多

      列

      最基本的存储单位

      列中的数据以二进制形式存在,没有数据类型和长度限制

      列的数量没有限制:一个列族中可以有数百万个列

      行与列

      数据库中没有值的地方必须为null,但是在HBase中可以直接省略掉该列

      时间戳timestamp

      HBase中通过row和columns确定的一个存贮单元成为cell,每个cell都保存着同一个数据的多个版本;

      通过时间戳来区分不同版本的值,一个单元格的不同版本值按降序排列在一起;

      时间戳默认由系统指定,也可以由用户显示设置;

      用户可以指定每个值所能保存的最大版本数量,也可以添加条件,如保存一周的数据

      HBase基础知识

      Master可以启动多个HMaster,通过Zookeeper的Master election机制保证总有一个master运行;

      为Region server分配region

      负责region server的负载平衡

      发现失效的region server并重新分配其上的region

      Region Server

      维护Master分配给它的region,处理对这些region 的IO请求;

      负责切分在运行过程中变得过大的region;

      Client包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如region的位置信息;

      HBase中有两张特殊的table,-ROOT-和.META

      -ROOT-记录.META.表的Region信息,-ROOT-只有一个region

      .META.记录了用户创建的表的region信息,.META.可以有多个region

      Zookeeper中记录了-ROOT-表的location

      Client访问用户数据之前需要首先首先访问zookeeper,然后访问-ROOT-表,接着访问.META.表,最后才能找到用户数据的位置去访问。

      HBase物理存储

      HBase中扩展和负载均衡的基本单元称为region,region本质上是以行键排序的连续存储区间。如果region太大,系统就会把他们动态拆分,相反地,就把多个region合并,以减少存储文件数量

      每一个region只能由一台region服务器(region server)加载,每一台region服务器可以同时加载多个region。

      table在行的方向上分割为多个HRegion,一个region由(startkey,endkey)表示


    更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
    学习大数据敬请关注魔据教育微信二维码。
    魔据教育微信二维码

    【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

    全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

    在线咨询:张老师QQ 320169340

    企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

    Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

    免费在线咨询两肖两码中特资料网

    免费索取技术资料立即索取

    大数据技术交流QQ:226594285

    电话咨询010-82340234

  • [微笑]这篇写得不错,没有逻辑上的问题!不过咱估计不会讨小萌们喜欢。 2019-07-16
  • 陈华德的专栏作者中国国家地理网 2019-07-16
  • 西藏迎来首家民营文化企业援藏团队 2019-07-14
  • “精日亲美的真正原因”是中国的伪公知精英身上长了“洋奴依附之心”,“崇洋媚外之骨”,“汉奸文化之瘤”,这些人利用“和谐、包容”疯狂推行汉奸文化洗脑国人! 2019-07-10
  • 合肥市公立医疗机构1271种医疗服务价格公示 部分服务涨价 2019-07-10
  • 文昌至临高高速公路有望年内开工 建成后车程缩至1小时内 2019-07-02
  • 加入我们中国国家地理网 2019-06-27
  • 强势发力体育营销 世界杯中国企业改变“旁观”窘状 2019-06-25
  • “道德瘾君子”侮辱了杨女士的善良 2019-06-25
  • 郑永年:争名逐利抢流量,中国的知识分子怎么了? 2019-06-21
  • 十九大代表拉措:团结一心跟党走   2019-06-18
  • 美钢铝关税政策引发各界忧虑 2019-06-18
  • 党的十九大最重大的理论成就 2019-06-15
  • 经济日报多媒体数字报刊 2019-06-15
  • 西安外事学院在省茶艺大赛中创多项佳绩西安外事学院-陕西教育新闻 2019-06-14
  • 神奇橡树APP 中国体彩网开奖结果 魂斗罗归来1元99万钻石 柏斯波利斯VS塔什干棉农 赫塔菲几次法甲冠军 天霁彩票网 维京掠宝怎么玩 彩客网打不开 山西十一选五开奖结果 网上真钱娱乐捕鱼平台