• 紫光阁中共中央国家机关工作委员会 2019-05-20
  • 区域经济新格局显现 高质量均衡发展成重点 2019-05-20
  • 感触名家笔下的端午文化 吃香粽原来可以这样"文艺" 2019-05-20
  • Chinese crayfish train heads to Moscow as fans get ready to feast during World Cup 2019-05-19
  • 传媒每周热闻第362期:2018年全国两会新闻中心启用 内地2月电影票房突破100亿元创纪录 2019-05-19
  • 为山西公安“一网通一次办”点赞 2019-05-18
  • 火车南站能多设置几个停车和上下车提示牌吗? 2019-05-18
  • 盘点:百名“红通”人员下落如何? 2019-05-18
  • 中国石油呼和浩特石化公司获第十二届人民企业社会责任奖年度环保奖 2019-05-17
  • 小长假恰逢“6·18”年中促销 双节乌鲁木齐消费市场火热 2019-05-17
  • 为助推西藏长足发展和长治久安作出新贡献 2019-05-17
  • 市中级人民法院开展形式多样节能减排活动 2019-05-16
  • 砖家不知道(28)20万元打破常规的SUV 2019-05-16
  • "情系民歌 让爱传递"义卖活动 传递社会正能量 2019-05-16
  • 紫光阁中共中央国家机关工作委员会 2019-05-15
  • 大河两码中特:

    招聘频道
    当前位置:两肖两码中特资料网 > 名企招聘 > 招聘报道 > Hadoop技术的发展

    Hadoop技术的发展

    时间:2018-09-26 17:39:09作者:魔据大数据学院

    两肖两码中特资料网 www.mqptd.tw 在Hadoop 出现之前,高性能计算和网格计算一直是处理大数据问题主要的使用方法和工具,它们主要采用消息传递接口提供的API 来处理大数据。高性能计算的思想是将计算作业分散到集群机器上,集群计算节点访问存储区域网络SAN 构成的共享文件系统获取数据,这种设计比较适合计算密集型作业。

    当需要访问像PB 级别的数据的时候,由于存储设备网络带宽的限制,很多集群计算节点只能空闲等待数据。而Hadoop却不存在这种问题,由于Hadoop 使用专门为分布式计算设计的文件系统HDFS,计算的时候只需要将计算代码推送到存储节点上,即可在存储节点上完成数据本地化计算,Hadoop 中的集群存储节点也是计算节点。

    Hadoop技术的发展

    在分布式编程方面,MPI 是属于比较底层的开发库,它赋予了程序员极大的控制能力,但是却要程序员自己控制程序的执行流程,容错功能,甚至底层的套接字通信、数据分析算法等底层细节都需要自己编程实现。这种要求无疑对开发分布式程序的程序员提出了较高的要求。

    相反,Hadoop 的MapReduce 却是一个高度抽象的并行编程模型,它将分布式并行编程抽象为两个原语操作,即map 操作和reduce 操作,开发人员只需要简单地实现相应的接口即可,完全不用考虑底层数据流、容错、程序的并行执行等细节。这种设计无疑大大降低了开发分布式并行程序的难度。

    Hadoop技术的发展

    Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。到目前为止,Hadoop 技术在互联网领域已经得到了广泛的运用,例如,Yahoo 使用4 000 个节点的Hadoop集群来支持广告系统和Web 搜索的研究;Facebook 使用1 000 个节点的集群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周200TB 的数据,从而进行搜索日志分析和网页数据挖掘工作;中国移动研究院基于Hadoop 开发了“大云”(Big Cloud)系统,不但用于相关数据分析,还对外提供服务;淘宝的Hadoop 系统用于存储并处理电子商务交易的相关数据。


    学习大数据敬请关注魔据教育微信二维码。
    魔据教育微信二维码

    【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

    全国咨询热线:400-690-5006,值班手机:18501996998(7*24小时)

    在线咨询:李老师QQ(226594285),陈老师QQ(428683440)

    企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

    Copyright 2001-2017 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

    免费在线咨询两肖两码中特资料网

    免费索取技术资料立即索取

    大数据技术交流QQ:226594285

    电话咨询010-82340234

  • 紫光阁中共中央国家机关工作委员会 2019-05-20
  • 区域经济新格局显现 高质量均衡发展成重点 2019-05-20
  • 感触名家笔下的端午文化 吃香粽原来可以这样"文艺" 2019-05-20
  • Chinese crayfish train heads to Moscow as fans get ready to feast during World Cup 2019-05-19
  • 传媒每周热闻第362期:2018年全国两会新闻中心启用 内地2月电影票房突破100亿元创纪录 2019-05-19
  • 为山西公安“一网通一次办”点赞 2019-05-18
  • 火车南站能多设置几个停车和上下车提示牌吗? 2019-05-18
  • 盘点:百名“红通”人员下落如何? 2019-05-18
  • 中国石油呼和浩特石化公司获第十二届人民企业社会责任奖年度环保奖 2019-05-17
  • 小长假恰逢“6·18”年中促销 双节乌鲁木齐消费市场火热 2019-05-17
  • 为助推西藏长足发展和长治久安作出新贡献 2019-05-17
  • 市中级人民法院开展形式多样节能减排活动 2019-05-16
  • 砖家不知道(28)20万元打破常规的SUV 2019-05-16
  • "情系民歌 让爱传递"义卖活动 传递社会正能量 2019-05-16
  • 紫光阁中共中央国家机关工作委员会 2019-05-15