• 注册
  • 数据库博客 数据库博客 关注:2 内容:377

    手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x 荐

  • 查看作者
  • 打赏作者
  • 当前位置: 职业司 > 数据库圈 > 数据库博客 > 正文
    • 数据库博客
    • 本文分享自华为云社区《DBeaver对接FusionInsight MRS Spark2x》,作者:晋红轻 。

      使用自定义JDBC对接Spark2x

      • 在C:\ecotesting\Fiber\conf目录下新建jaas.conf文件,内容如下所示:
      Client {
      com.sun.security.auth.module.Krb5LoginModule required
      useKeyTab=true
      keyTab="C:\\ecotesting\\Fiber\\conf\\user.keytab"
      principal="developuser"
      useTicketCache=false
      storeKey=true
      debug=true;
      };

      注意: 其中keyTab参数以及principal参数为对应的认证用户名以及认证文件路径

      • 下载DBeaver软件,并完成安装.
      • 指定DBeaver的JDK虚拟机.在DBeaver安装目录下,打开dbeaver.ini设置-vm参数的值,参数和值之间需要换行.

      示例如下:

      -vm
      C:\java64\jdk\bin
      
      配置文件最后加上:
      -Djava.security.auth.login.config=C:\\ecotesting\\Fiber\\conf\\jaas.conf
      -Dzookeeper.sasl.clientconfig=Client
      -Dzookeeper.auth.type=kerberos
      -Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com
      • 重启DBeaver.

      修改dbeaver.ini后需要重启DBeaver才生效.

      • (重要 fi6.5.1)准备spark2x jdbc连接驱动jar包

      登陆linux端spark2x客户端找到jdbc相关依赖,比如:/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars/jdbc

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      将该路径下所有的jar包拷贝到windows本地目录,比如E:\145config\spark2xjars, 注意里面含有一个jdbc_pom.xml文件,需要删除

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      继续登陆linux端spark2x客户端路径/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars,分别找到如下4个jar包,拷贝到windows本地目录,比如E:\145config\spark2xjars

      log4j-1.2.17.jar
      woodstox-core-5.0.3.jar
      stax2-api-3.1.4.jar
      commons-configuration2-2.1.1.jar

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      说明: 如果是mrs8.0.2版本准备的依赖为:

      • 登陆linux端spark2x客户端找到jdbc相关依赖,比如:/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars/jdbc下所有依赖
      • 继续登陆linux端spark2x客户端路径/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars,分别找到如下5个jar包
      log4j-1.2.17-atlassian-13.jar
      commons-lang-2.6.jar
      woodstox-core-5.0.3.jar
      stax2-api-3.1.4.jar
      commons-configuration2-2.1.jar
      • 进入DBeaver界面,菜单选择Database->DriverManager,在弹出的对话框中点击New.

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      • 新建的连接名字为FI-spark2x-651-direct,连接信息如下,完成后点击OK

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      1. org.apache.hive.jdbc.HiveDriver
      2. jdbc:hive2://172.16.4.141:24002,172.16.4.142:24002,172.16.4.143:24002/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.hadoop.com@HADOOP.COM;user.principal=developuser;user.keytab=E:/145config/user.keytab
      3. Hadoop
      4. 点Add File在上述步骤配置好的spark2x连接所有jar包加进去

      注意:连接url的user.principal=developuser;user.keytab=E:/145config/user.keytab这两个参数必须加上,并且保证正确

      连接url串,可在Linux客户端使用spark-beeline命令获取参考:

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      • 菜单栏选择File->New->Database Connection.点击Next.

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      • 选择FI-spark2x-651-direct点击NEXT

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      • 点击Finish

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      • 右键选择FI-spark2x-651-direct点击Edit Connection

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      • 点击Test connection

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      mrs 8.0.2的测试结果如下:

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      • 查看结果数据

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      mrs 8.0.2的测试结果如下:

      手把手教你如何配置DBeaver对接FusionInsigth MRS Spark2x
                                                
                                                    荐

      请登录之后再进行评论

      登录

      手机阅读天地(APP)

      • 微信公众号
      • 微信小程序
      • 安卓APP
      手机浏览,惊喜多多
      匿名树洞,说我想说!
      问答悬赏,VIP可见!
      密码可见,回复可见!
      即时聊天、群聊互动!
      宠物孵化,赠送礼物!
      动态像框,专属头衔!
      挑战/抽奖,金币送不停!
      赶紧体会下,不会让你失望!
    • 实时动态
    • 签到
    • 做任务
    • 发表内容
    • 偏好设置
    • 到底部
    • 帖子间隔 侧栏位置: