Hue框架_莫言静好、的博客-CSDN博客

本站和网页 https://blog.csdn.net/zhanglh046/article/details/78589250 的作者无关，不对其内容负责。快照谨为网络故障时之索引，不代表被搜索网站的即时页面。

Hue框架_莫言静好、的博客-CSDN博客
Hue框架
莫言静好、
于 2017-11-21 09:49:34 发布
8705
收藏
分类专栏：
大数据/hue
文章标签：
hue
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanglh046/article/details/78589250
版权
大数据/hue
专栏收录该内容
1 篇文章
0 订阅
订阅专栏
Hue是一个图形化的用户界面，去操作或者开发一些hadoop应用，集成一些框架。
一 Hue架构图
支持的框架：
JobOOZIE PIG HDFS:查文件 文件的管理：增删改查 HiveMetaStore 管理器 ImaplaShell
二 Hue安装部署
2.1下载解压
下载地址：https://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh.5.3.6.tar.gz
解压：tar-zxf hue-3.7.0-cdh5.3.6.tar.gz
2.2编译和安装
在进行编译之前需要一些前提条件，也就是需要安装一些依赖包
yuminstall ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gccgcc-c++ krb5-devel libffi-devel libtidy libxml2-devel libxslt-devel
makemvn mysql mysql-devel openldap-devel python-devel sqlite-devel openssl-develgmp-devel –y
如果已经装过了，就不用安装了。
我本地机器：
yuminstall ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plainkrb5-devel libffi-devel libtidy libxml2-devel libxslt-devel mysql-developenldap-devel python-devel sqlite-devel openssl-devel gmp-devel –y
安装的依赖中包含openjdk，编译完后卸载openjdk
yumremove java
source/etc/profile
然后进入到hue主目录：
cd/opt/cdh-5.3.6/hue-3.7.0-cdh5.3.6
makeapps
三 修改webserver配置文件和启动
cd/opt/cdh-5.3.6/hue-3.7.0-cdh5.3.6/desktop/conf
vimhue.ini
所有hue框架配置项都是以中括号标记
3.1修改httphost和 port
http_host=CDH-Hadoop-Cluster-01
http_port=8888
3.2指定SecretKey
#This is used for secure hashing in the session store.
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
3.3修改时区
#Time zone name
time_zone=Asia/Shanghai
启动：
/build/env/bin/supervisor
启动之后登录web ui
http://cdh-hadoop-cluster-01:8888/
首先会创建的你的管理员账号
建议创建用户和hadoop用户相同，因为访问HDFS集群。HDFS有权限检查，如果用hadoop相同的用户就避免了权限检查
hadoophadoop
然后它会检查一些配置文件：
四 Hue与HDFS 和 YARN的集成
4.1Hue 和 HDFS集成
4.1.1配置WebHdfs
你应该启用WebHdfs或者运行一个HttpFSserver. 要打开WebHDFS，4.1.1.1添加以下配置到hdfs-site.xml
<property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
</property>
4.1.1.2添加以下配置到core-site.xml
<!--toaccess hdfs, we need set proxy-->
<property>
    <name>hadoop.proxyuser.hue.hosts</name>
   <value>*</value>
</property>
<property>
   <name>hadoop.proxyuser.hue.groups</name>
   <value>*</value>
</property>
4.1.1.3分发刚才配置到集群其他机器
scphdfs-site.xml core-site.xml hadoop@CDH-Hadoop-Cluster-02:/opt
/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop
scphdfs-site.xml core-site.xml hadoop@CDH-Hadoop-Cluster-03:/opt
/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop
4.1.1.4重启hadoop 集群
4.1.2配置hue.ini
Hue当前只支持一个HDFS集群
在hue.ini找到[hadoop]段，然后找[[hdfs_clusters]]子段，再找到
[[[default]]]子段
fs_defaultfs=hdfs://CDH-Hadoop-Cluster-01:8020
webhdfs_url=http://CDH-Hadoop-Cluster-01:50070/webhdfs/v1
hadoop_conf_dir=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop
hadoop_hdfs_home=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6
hadoop_bin=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/bin
4.2Hue 和 YARN 集成 4.2.1 配置YARN. 文档提示不需要再配
4.2.2配置hue.ini
Hue当前只支持一个YARN集群，在hue.ini找到[hadoop]段，然后找[[yarn_clusters]]子段，再找到[[[default]]]子段
resourcemanager_host=CDH-Hadoop-Cluster-02
resourcemanager_port=8032
#Whether to submit jobs to this cluster
submit_to=True
hadoop_mapred_home=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6
hadoop_bin=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/bin
hadoop_conf_dir=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop
#URL of the ResourceManager API相当于yarn-site.xml配置yarn.
resourcemanager.webapp.address
resourcemanager_api_url=http://CDH-Hadoop-Cluster-02:8088
#URL of the ProxyServer API,相当于yarn-site.xml配置yarn.web-proxy.address
proxy_api_url=http://CDH-Hadoop-Cluster-02:8088
#URL of the HistoryServer API相当于mapred-site.xml里面的mapreduce.jobhistory.webapp.address
history_server_api_url=http://CDH-Hadoop-Cluster-01:19888
4.3重启hadoop集群和hue
五 Hive远程MetaStore的配置和启动
Hive的三种运行方式
1默认的derby数据库 缺点：容量较小，不能启动多个实例
2使用MySQL缺点： MySQL与Hive在同一台机器
3远程的MetaStore，元数据存储在远程的MySQL当中
我们需要修改hive.metastore.uris:
<property>
   <name>hive.metastore.uris</name>
    <value></value>
</property>
开启远程MetaStore
bin/hive--service metastore &
每一次都必须先启动远程metastore，然后在启动客户端
六 Hue与 Hive集成
6.1hive配置
只需要启动hiveserver2
tcp协议：默认10000
http协议：默认10001
有时候出现连接超时，我们把5000L改成5000
<property>
 <name>hive.server2.long.polling.timeout</name>
  <value>5000L</value>
</property>
改成
<property>
 <name>hive.server2.long.polling.timeout</name>
  <value>5000</value>
</property>
6.2配置hue.ini
hive_server_host=CDH-Hadoop-Cluster-01
hive_server_port=10000
hive_home_dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6
hive_conf_dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/conf
6.3重启Hue
七 Hue 和 RDBMS的集成
找到[librmdbs]段 在hue.ini文件中,然后在他下面找到[[databases]]子段
7.1启用SQLite
首先去掉注释## [[[sqlite]]]
[[[sqlite]]]
然后修改：
# Name to show in the UI.
nice_name=SQLite
#定义数据库的位置
name=name=/opt/cdh-5.3.6/hue-3.7.0-cdh5.3.6/desktop/desktop.db
# 数据库使用的引擎
engine=sqlite
7.2启用MySQL
启用mysql，去掉数据库
[[[mysql]]]
nice_name="My SQL DB"
engine=mysql
## name=mysqldb 不打开，默认使用所有数据库
host=hadoop-senior02.ibeifeng.com
port=3306
user=root
password=123456
7.3 重启Hue
八 Hue与Oozie的集成和使用
8.1 hue 配置oozie
找到[liboozie]段
oozie_url=http://CDH-Hadoop-Cluster-01:11000/oozie
<!--默认放到当前用户主目录下面，但是在Hue的时候指定的是/user/oozie/share/lib
所以我么这里就把user.name改成oozie-->
<property>
      <name>oozie.service.WorkflowAppService.system.libpath</name>
      <value>/user/${user.name}/share/lib</value>
</property>
改成：
<property>
      <name>oozie.service.WorkflowAppService.system.libpath</name>
      <value>/user/oozie/share/lib</value>
</property>
先停掉oozie:
bin/oozied.shstop
然后重新执行：
bin/oozie-setup.shsharelib create -fs hdfs://CDH-Office-Hadoop-01:8020 -locallib/opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-sharelib-4.0.0-cdh5.3
.6-yarn.tar.gz
再启动oozie
bin/oozied.shstart
莫言静好、
关注
关注
点赞
收藏
打赏
评论
Hue框架
Hue是一个图形化的用户界面，去操作或者开发一些hadoop应用，集成一些框架。 一 Hue架构图支持的框架：JobOOZIE PIG HDFS:查文件 文件的管理：增删改查 HiveMetaStore 管理器 ImaplaShell 二 Hue安装部署2.1下载解压下载地址：https://archive.cloudera.com/cdh5/cdh
复制链接
扫一扫
专栏目录
第一章：Hadoop 高级客户端工具 Hue
09-18
1.Hue原理与架构
2.Hue安装部署
3.Hue实现操作HDFS
4.Hue实现操作Hive
5.Hue实现操作HBase
6.Hue实现WorkFlow
7.Azkaban 技术原理与架构
8.Azkaban 部署实施
9.Azkaban 实现调度Hadoop job，Spark job
离线数据系统之Hue详解
lixinkuan的博客
09-16
1036
一、Hue简介
Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。
总结：
Hue是一个开源的Apa...
参与评论
您还未登录，请先
登录
后发表或查看评论
16 hue框架使用
06-18
241
文章目录16 hue框架使用1.hue介绍2.hue安装第一步：下载Hue的压缩包并上传到linux解压第二步：编译安装启动
16 hue框架使用
1.hue介绍
HUE=Hadoop User Experience
主要用于与我们其他各个框架进行整合，例如hdfs，mapreduce，hive，impala，oozie，spark
整合完成之后，只需要在我们hue这一个框架提供的web界面里面就可以操作我们所有其他的框架
HUE链接
Site: http://gethue.com/
Github: htt
hue的简介及基本原理
FlizhN的博客
10-09
4169
hue定义：
HUE=Hadoop User Experience
个人理解：可视图的webui界面，方便大数据技术之间的CRUD操作。
官方定义：Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。
特性：一个HDFS的文件浏览器，一个MapReduce/YARN的Job浏览器，一个 HBas的浏览器，Hive，Pig，Cloudera Impala 和 Sqoop2 的查询编辑器。它还附带了一个Oozie的应用程序，用于创建和监控工作流程
Hue的集成配置与实现
最新发布
weixin_48231783的博客
06-04
126
大数据领域hue的集成
hue的架构图
tao_wei162的博客
10-26
1452
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据...
Hue框架简介
08-10
2088
官网:http://gethue.com/
源码:http://github.com/cloudera/hue
hue安装指南:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/
Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献
Hue 基础知识 详解
chenshun123的博客
01-31
2万+
Hue 是 Cloudera 的大数据 Web 工具
官方访问网站 : http://gethue.com/
GitHub : https://github.com/cloudera/hue
下载地址 : http://archive.cloudera.com/cdh5/cdh/5/
1> 大数据协作框架
“大数据协作框架”其实是一个统称，实际上就是 Hadoop 2.X 生态系
Hue使用（Apache Hadoop UI系统）
haoyuexihuai的专栏
12-09
1万+
一、Hue的安装部署
Hue版本：cdh5.3.6-hue-3.7.0
需要编译才能使用需要联网
依赖(针对不同Linux版本) ant
asciidoc
cyrus-sasl-devel
cyrus-sasl-gssapi
gcc
gcc-c++
krb5-devel
libtidy (for unit tests only)
libxml2-devel
libxslt-devel
mvn (
hue的定制与二次开发
wangdongjie1993的专栏
09-24
6336
Hue定制与二次开发  Hue是Hadoop生态圈中的一员，它将Hadoop生态圈中几乎所有的工具都集成在一个Web平台上。在Web开发方面，Hue基于python的Django框架的mako模板。因此可以在浏览器上通过Hue这个管理系统，来统一管理服务器集群上的应用。最近因为项目的原因需要对Hue进行定制开发，因此接触了一下Hue。在这里记录一下，关于Hue定制开发方面所碰到的问题和自己总结得到的
hue中融合的一些技术框架简介
FlizhN的博客
10-09
92
hue的demo
点击调整到hue的demo。直接登录查看
HDFS文件浏览器
HUE可以很方便的浏览HDFS中的目录和文件，并且进行文件和目录的创建、复制、删除、下载以及修改权限等操作。
HDFS实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。但，用户身份机制对HDFS本身来说只是外部特性。HDFS并不提供创建用户身份、创建组或处理用户凭证等功能。 使用HU
使用HUE来管理hadoop集群
rainysia的专栏
03-23
2万+
HUEHue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。HUE官方地址http://gethue.com/默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为M
大数据协作框架Hue
youfashion的博客
03-29
3647
大数据协作框架Hue笔记大数据协作框架Hue笔记
一概述
二Hue的安装和部署
三hue集成hadoop2x
四hue集成hive
五hive集成RDBMS
一，概述1，参考文档http://gethue.com/ 官网
http://github.com/cloudera/hue 源码
http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cd
Hue（03）——Hue其他框架的集成
阿正的博客
05-06
64
https://blog.csdn.net/Fenggms/article/details/82947088
停止hue的服务进程
修改hue.ini配置文件 vim /etc/hue/conf/hue.ini
[impala]
server_host=node03
server_port=21050
impala_conf_dir=/etc/impala/conf
...
Hue与软件的集成（hue集成hdfs、hue集成yarn、hue集成hive、hue集成mysql）
依旧的博客
12-07
3798
一、Hue集成HDFS
注意修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs集群。
1、修改core-site.xml配置
<!-- 允许通过httpfs方式访问hdfs的主机名 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value&g...
Hue的三大特点、三大功能和架构
weixin_33937913的博客
05-06
656
　　不多说，直接上干货！
Hue 是 Cloudera 的大数据 Web 工具
官方访问网站 : http://gethue.com/
GitHub : https://github.com/cloudera/hue
下载地址 : http://archive.cloudera.com/cdh5/cdh/5/
http://gethue.co...
大数据交互平台Hue的优势
热门推荐
ChainingBlocks
01-06
6万+
本文系统地讲解了Hue作为大数据分析交互平台的优势！欢迎批评指正！Hue Web应用的架构Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC
CDH5.8 HUE的使用（那些年走过的坑）
Amy的博客
02-02
1万+
HUE=Hadoop User Experience
Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。
通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，
Hue集成的一些问题
互坑
05-25
6679
错误一、Cannot access: /user/admin. The HDFS REST service is not available. " "" 注：您是 Hue 管理员，但不是 HDFS 超级用户（即 ""hdfs""）。"""
当出现这种错误时，一般都是Httpfs没有启动,在hadoop的根目录下启动httpfs启动即可
注：hadoop下的配置文
python django环境配置_Python django环境搭建
weixin_39777540的博客
12-29
71
本机系统：win8一、python官网下载：https://www.python.org/下载下来为一个.exe文件，双击运行安装即可。二、配置python环境如果不配置亦可，通过使用IDLE也可以运行python程序，但是无法在cmd命令行中运行python程序。配置环境：计算机->属性->高级环境设置->高级-环境变量->系统变量->找到Path->编辑-&...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：书香水墨
设计师：CSDN官方博客
返回首页
莫言静好、
CSDN认证博客专家
CSDN认证企业博客
码龄10年
暂无认证
378
原创
7万+
周排名
89万+
总排名
107万+
访问
等级
1万+
积分
768
粉丝
364
获赞
80
评论
1283
收藏
私信
关注
热门文章
使用Zuul构建API Gateway
101624
Linux下 sshd服务不能启动
60589
spark基础之shuffle机制和原理分析
33784
服务发现和注册和Eureka
25228
ElasticSearch之高亮显示
21783
分类专栏
分布式唯一ID
1篇
网络协议
15篇
分布式协议
3篇
消息中间件
1篇
Redis专栏
3篇
设计模式
6篇
计算机组成原理
5篇
操作系统
7篇
Java 并发专题
5篇
中间件底层专题
5篇
Netty源码分析和底层分析
1篇
数据结构
spring security & spring social
大数据/Hadoop
55篇
大数据/Hive
23篇
大数据/Scala 基础
16篇
大数据/kafka/源码
50篇
大数据/kafka
4篇
大数据/spark
23篇
大数据/spark/源码
22篇
大数据/spark/性能优化
4篇
大数据/flume
6篇
大数据/hue
1篇
大数据/hbase
16篇
大数据/hbase/优化设计
4篇
大数据/elasticsearch
16篇
大数据/sqoop
1篇
Linux
32篇
Java/核心
35篇
脚本/shell
4篇
脚本/bat
3篇
搜索/lucene
2篇
Web服务器/Apache
7篇
Web服务器/Nginx
10篇
搜索/elasticsearch
16篇
搜索/solr
架构
6篇
数据库/mysql
17篇
数据库/oracle
python/基础篇
14篇
消息中间件/activeMQ
3篇
消息中间件/rabbitMQ
开发拾遗
1篇
问题和解决方案
3篇
需求和解决方案
NoSQL数据库/redis
10篇
NoSQL数据库/mongoDB
Web框架/spring
Web框架/spring mvc
Web框架/struts2
Web框架/hibernate
微服务/spring boot
微服务/spring cloud
4篇
分布式/事务
1篇
分布式/锁
2篇
分布式工具
4篇
云平台docker
2篇
协议/https
Java虚拟机专题
13篇
最新评论
I/O控制器 和 DMA控制方式
一个人喝不醉:
讲解的很细致
文件内存映射和传统I/O机制
NOGGICARRY:
特地登录了来支持您，讲的太好了，感谢！！
Netty线程模型和核心概念
weixin_47177883:
看到后面就不懂了
Linux下 sshd服务不能启动
weixin_55489246:
很不错，终于解决问题了
Linux下 sshd服务不能启动
m0_58060991:
弄到凌晨才弄好 多亏了博主的这篇文章 感谢
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
分布式唯一ID
MySQL深度剖析之索引专题(2021)
MySQL深度剖析之事务隔离级别和锁机制(2021)
2021年61篇
2018年8篇
2017年308篇
2016年47篇
2015年8篇
目录
目录
分类专栏
分布式唯一ID
1篇
网络协议
15篇
分布式协议
3篇
消息中间件
1篇
Redis专栏
3篇
设计模式
6篇
计算机组成原理
5篇
操作系统
7篇
Java 并发专题
5篇
中间件底层专题
5篇
Netty源码分析和底层分析
1篇
数据结构
spring security & spring social
大数据/Hadoop
55篇
大数据/Hive
23篇
大数据/Scala 基础
16篇
大数据/kafka/源码
50篇
大数据/kafka
4篇
大数据/spark
23篇
大数据/spark/源码
22篇
大数据/spark/性能优化
4篇
大数据/flume
6篇
大数据/hue
1篇
大数据/hbase
16篇
大数据/hbase/优化设计
4篇
大数据/elasticsearch
16篇
大数据/sqoop
1篇
Linux
32篇
Java/核心
35篇
脚本/shell
4篇
脚本/bat
3篇
搜索/lucene
2篇
Web服务器/Apache
7篇
Web服务器/Nginx
10篇
搜索/elasticsearch
16篇
搜索/solr
架构
6篇
数据库/mysql
17篇
数据库/oracle
python/基础篇
14篇
消息中间件/activeMQ
3篇
消息中间件/rabbitMQ
开发拾遗
1篇
问题和解决方案
3篇
需求和解决方案
NoSQL数据库/redis
10篇
NoSQL数据库/mongoDB
Web框架/spring
Web框架/spring mvc
Web框架/struts2
Web框架/hibernate
微服务/spring boot
微服务/spring cloud
4篇
分布式/事务
1篇
分布式/锁
2篇
分布式工具
4篇
云平台docker
2篇
协议/https
Java虚拟机专题
13篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
莫言静好、
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值