• 滇剧兴衰 春城壹网 七彩云南 一网天下 2019-10-19
  • 在线客服——华龙网 主流媒体 重庆门户 2019-10-19
  • 三缸机,怎样做出了四缸机效果? 2019-10-09
  • 【中国梦·践行者】亲身经历“失联”的等待 21岁CEO为留学生做“安保” 2019-10-09
  • “子恺杯”第十届中国漫画大展征稿启事 2019-10-07
  • [大笑]那依然是按劳(劳动价值或劳动能力)分配也! 2019-10-06
  • 2020年产销整车60万辆以上 汽车之都或成杭州新称号 2019-10-05
  • 我喜欢论坛,它不仅让我学到了许多知识及传播知识,同时让我看到了许多不能自圆其说的帖子,让我开心 2019-10-05
  • 地价10年暴涨4倍背后:供地减半 开发商拿地疯狂 ——凤凰网房产天津 2019-10-04
  • 浙产纸尿裤能叫板国际大牌吗 2019-10-04
  • 荆楚网增值电信业务许可证 2019-10-02
  • 江西应用科技学院成立人工智能学院,民办高校加速人才布局 2019-10-02
  • 【宗教与中国文化】巧把音声作佛事 唐代佛教舞蹈浅议 2019-09-30
  • 袁亮任安徽理工大学校长 2019-09-27
  • 这些难免只有马克思主义真理才能自救,其余的都瞎扯淡,至于他们需要从哪里讨说法,也在马克思主义真理里面了 2019-09-25
  • 欢迎来到魔据教育大数据学院,专注大数据工程师培养!
    当前位置:两肖两码中特资料网 > 学习资料 > 讲师博文 > Hive和ElasticSearch整合文档

    119期两码中特: Hive和ElasticSearch整合文档

    时间:2017-08-16 09:06:57作者:[!--zuozhe--]

     

    • 下载elasticsearch-hadoop-vetsion.jar包,上传到hive的安装目录的lib目录下,注意
    • 版本一定要和相应的elasticsearch的版本一致
    • 切换到hive用户,执行$hive --auxpath=/path/lib/elasticsearch-hadoop.jar 或者修改hive-site.xml配置文件,如下:
     两肖两码中特资料网 www.mqptd.tw <property>
              <name>hive.aux.jars.path</name>
              <value>/path/elasticsearch-hadoop.jar</value>
              <description>A comma separated list (with no spaces) of the jar files</description>
    </property> 

    • 进入hive脚本界面中建表

    1.首先你得告诉es这个表是ElasticSearch支持的:

    建立view表是
    CREATEEXTERNALTABLEuser(idBIGINT, nameSTRING) STOREDBY'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'radio/artists','es.index.auto.create' = 'true');
    如果无法插入数据请执行下面命令指定es端口和ip
    CREATEEXTERNALTABLEuser(idBIGINT, nameSTRING) STOREDBY'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'radio/artists','es.index.auto.create' = 'true','es.nodes'='192.168.1.88','es.port'='9200');
    es.resourceradiott/artiststt分别是索引名和索引的类型,这个是在es访问数据时候使用的。

    2.然后建立源数据表:

    CREATETABLE user_source (idINT, nameSTRING) ROWFORMATDELIMITEDFIELDSTERMINATEDBY',';
    将数据导入到user_source表中:
    LOADDATALOCAL INPATH '/home/steven/data.txt' OVERWRITE INTOTABLE user_source;
    • 建立好表之后推出hive脚本,然后上传elasticsearch-hadoop.jarhdfs的一个目录下
    hadoop fs -put /root/hive/lib/elasticsearch-hadoop-2.0.2.jar /tmp/elasticsearch-hadoop-2.0.2.jar加载到hdfs
    • 然后重新以以下命令进入hive
    hive -hiveconf hive.aux.jars.path=/tmp/elasticsearch-hadoop-2.0.2.jar
    • 然后进入到相应的数据库下,向索引表中(view)中插入数据
    INSERT OVERWRITE TABLEuserSELECT s.id, s.nameFROM user_source s;

    到此整合完成


    更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
    学习大数据敬请关注魔据教育微信二维码。
    魔据教育微信二维码

    【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

    全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

    在线咨询:张老师QQ 320169340

    企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

    Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

    免费在线咨询两肖两码中特资料网

    免费索取技术资料立即索取

    大数据技术交流QQ:226594285

    电话咨询010-82340234

  • 滇剧兴衰 春城壹网 七彩云南 一网天下 2019-10-19
  • 在线客服——华龙网 主流媒体 重庆门户 2019-10-19
  • 三缸机,怎样做出了四缸机效果? 2019-10-09
  • 【中国梦·践行者】亲身经历“失联”的等待 21岁CEO为留学生做“安保” 2019-10-09
  • “子恺杯”第十届中国漫画大展征稿启事 2019-10-07
  • [大笑]那依然是按劳(劳动价值或劳动能力)分配也! 2019-10-06
  • 2020年产销整车60万辆以上 汽车之都或成杭州新称号 2019-10-05
  • 我喜欢论坛,它不仅让我学到了许多知识及传播知识,同时让我看到了许多不能自圆其说的帖子,让我开心 2019-10-05
  • 地价10年暴涨4倍背后:供地减半 开发商拿地疯狂 ——凤凰网房产天津 2019-10-04
  • 浙产纸尿裤能叫板国际大牌吗 2019-10-04
  • 荆楚网增值电信业务许可证 2019-10-02
  • 江西应用科技学院成立人工智能学院,民办高校加速人才布局 2019-10-02
  • 【宗教与中国文化】巧把音声作佛事 唐代佛教舞蹈浅议 2019-09-30
  • 袁亮任安徽理工大学校长 2019-09-27
  • 这些难免只有马克思主义真理才能自救,其余的都瞎扯淡,至于他们需要从哪里讨说法,也在马克思主义真理里面了 2019-09-25
  • 跟千里马计划怎么跟 一天赚200的方法 時時彩如何倍投穩賺不賠 ag电子漏洞 竞彩足球比分 彩神吉林快三全能 香港5码工作室74期 助赢计划软件app手机版下载 必中彩票计划软件手机app 老北京pk赛车计划五码