• 周强:深化司法体制改革,促进审判体系和审判能力现代化 2019-09-15
  • 两队防守均是薄弱环节 进攻快VS球风猛谁占优? 2019-09-15
  • 男子新婚后妻子失踪 报案发现妻子结过7次婚有3娃 2019-09-13
  • 以产业金融促广州实体经济发展 2019-09-04
  • 《宋代古琴音乐研究》简介 2019-09-03
  • 海淀:社区中的快乐暑假 2019-09-03
  • 对外投资连续7个月增长(市场观察) 2019-09-02
  • 李保芳一行拜访中国驻莫桑比克大使馆 苏健大使盛赞茅台援建举动 称其具有开创性意义 2019-08-23
  • 太美了!合肥初雪航拍 看完想在雪地打滚 2019-08-23
  • 关注改革最后一公里:湖北纪检等部门用新技术整合分散信息 2019-08-21
  • 中国足球与中国股市谁最牛?请投下你神圣一票 2019-08-21
  • 新时代是奋斗者的时代 2019-08-20
  • 特级飞行员侯兵林只有飞过临界点才能摸准战机脾性 2019-08-18
  • 梁家河,一个中国村庄的幸福与奋斗 2019-08-18
  • 卡布的专栏作者中国国家地理网 2019-08-17
  • 欢迎来到魔据教育大数据学院,专注大数据工程师培养!
    当前位置:两肖两码中特资料网 > 学习资料 > 讲师博文 > hadoop开发必读:认识Context类的作用

    瘦骨嶙两码中特: hadoop开发必读:认识Context类的作用

    时间:2017-08-17 17:46:18作者:[!--zuozhe--]

    两肖两码中特资料网 www.mqptd.tw  

    问题提出
    1. Context能干什么?
    2. 你对Context类了解多少?
    3. Context在mapreduce中的作用是什么?
    下面我们通过来源码,来得到Context的作用:
    下面主要对Setup函数进行深入探讨:首先看下两个程序的区别:

    7-1.png

    7-2.png

    区别在于第一个程序把context这个上下文对象作为map函数的参数传到map函数中,第二个程序则是在setup函数中处理了context对象,从这个角度讲,在Map类的实例中是可以拿到Context这个上下文对象的,这一点是毋庸置疑的,不管是在类内部的哪个函数中使用都可以,既然是这样,那么讨论的重点就是map这个类中方法的声明及执行了,所以分析下Mapper类的源代码:

    7-3.png

    在mapper类中,只对这个方法进行了声明,也就是说它的子类可以重新实现这个方法,这一点很容易理解的。
    下面从源码级分析下整个mapper类的结构和hadoop在设计这个类时的巧妙之处:
    Map的主要任务就是把输入的key value转换为指定的中间结果(其实也是key value),这个类主要包括了四个函数:

    7-4.png

    Setup一般是在执行map函数前做一些准备工作,map是主要的数据处理函数,cleanup则是在map执行完成后做一些清理工作和finally字句的作用很像,下面看一下run方法:

    7-5.png

     

    这个方法调用了上面的三个函数,组成了setup-map-cleanup这样的执行序列,这一点和设计模式中的模版模式很类似,当然在这里我们也可以改写它的源码,比如可以在map的时候增加多线程,这样可以对map任务做进一步的优化,从以上的分析可以很清楚的知道setup函数的作用了。
    下面为run方法
    1.   /**
    2.    * Expert users can override this method for more complete control over the
    3.    * execution of the Mapper.
    4.    * @param context
    5.    * @throws IOException
    6.    */
    7.   public void run(Context context) throws IOException, InterruptedException {
    8.     setup(context);
    9.     try {
    10.       while (context.nextKeyValue()) {
    11.         map(context.getCurrentKey(), context.getCurrentValue(), context);
    12.       }
    13.     } finally {
    14.       cleanup(context);
    15.     }
    16.   }
    从上面run方法可以看出,K/V对是从传入的Context获取的。我们也可以从下面的map方法看出,输出结果K/V对也是通过Context来完成的。 
    那么我们上文中提到的Context对象是怎么回事呢?

    7-6.png

            原来它是mapper的一个内部类,简单的说顶级接口是为了在map或是reduce任务中跟踪task的状态,很自然的MapContext就是记录了map执行的上下文,在mapper类中,这个context可以存储一些job conf的信息,比如习题一中的运行时参数等,我们可以在map函数中处理这个信息,这也是hadoop中参数传递中一个很经典的例子,同时context作为了map和reduce执行中各个函数的一个桥梁,这个设计和java web中的session对象、application对象很相似。

    更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
    学习大数据敬请关注魔据教育微信二维码。
    魔据教育微信二维码

    【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

    全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

    在线咨询:张老师QQ 320169340

    企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

    Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

    免费在线咨询两肖两码中特资料网

    免费索取技术资料立即索取

    大数据技术交流QQ:226594285

    电话咨询010-82340234

  • 周强:深化司法体制改革,促进审判体系和审判能力现代化 2019-09-15
  • 两队防守均是薄弱环节 进攻快VS球风猛谁占优? 2019-09-15
  • 男子新婚后妻子失踪 报案发现妻子结过7次婚有3娃 2019-09-13
  • 以产业金融促广州实体经济发展 2019-09-04
  • 《宋代古琴音乐研究》简介 2019-09-03
  • 海淀:社区中的快乐暑假 2019-09-03
  • 对外投资连续7个月增长(市场观察) 2019-09-02
  • 李保芳一行拜访中国驻莫桑比克大使馆 苏健大使盛赞茅台援建举动 称其具有开创性意义 2019-08-23
  • 太美了!合肥初雪航拍 看完想在雪地打滚 2019-08-23
  • 关注改革最后一公里:湖北纪检等部门用新技术整合分散信息 2019-08-21
  • 中国足球与中国股市谁最牛?请投下你神圣一票 2019-08-21
  • 新时代是奋斗者的时代 2019-08-20
  • 特级飞行员侯兵林只有飞过临界点才能摸准战机脾性 2019-08-18
  • 梁家河,一个中国村庄的幸福与奋斗 2019-08-18
  • 卡布的专栏作者中国国家地理网 2019-08-17
  • 一分钟赛车破解规律 网上玩时时彩会抓不 牛牛牌游戏软件 一分时时彩有官网吗 山西十一选五走势图l 大乐透中奖限制顺序吗 北京pkapp破解版 福建36选7截止到几点 刷流水的app 江西爱彩乐十一选五