首页 > 12、Hive核心概念与原理详解-victor19901114的博客

2、核心库命令讲解-1,12、Hive核心概念与原理详解-victor19901114的博客

互联网 2021-01-22 10:54:46
在线算命,八字测算命理

关注VX:数据科学讲堂,领取教程在这里插入图片描述

1、Hive核心概念和架构原理1.1、 Hive概念

Hive由FaceBook开发,用于解决海量结构化日志的数据统计。

Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能

本质:将Hive SQL转化成MapReduce程序。

1.2、Hive与数据库的区别对变项Hive数据库软件查询语言HQLSQL数据存储HDFSRaw Devce orLoal FS执行器MapReduceExecutor数据插入支持批量导入/单条插入支持单条或者批量导入数据操作覆盖追加行级更新删除处理数据规模大小执行延迟高低分区支持支持索引0.8版本之后加入了索引支持复杂的索引扩展性高有限数据加载模式读时模式(快)写时模式(慢)应用场景海量数据查询实时查询

读时模式:Hive在加载数据到表中的时候不会校验.

写时模式:Mysql数据库插入数据到表的时候会进行校验.

总结:Hive只适合用来做海量离线的数据统计分析,也就是数据仓库。

1.3、Hive的优缺点

优点:操作接口采用了类SQL语法,提供快速开发的能力,避免了去写MapReduce;Hive还支持用户自定义函数,用户可以根据自己的需求实现自己的函数。

缺点:Hive不支持纪录级别的增删改操作;Hive查询延迟很严重;Hive不支持事务。

1.4、Hive架构原理

在这里插入图片描述​(1)用户接口:CLI(hive shell);JDBC(java访问Hive);WEBUI(浏览器访问Hive)​(2)元数据:MetaStore元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段,标的类型(表是否为外部表)、表的数据所在目录。这是数据默认存储在Hive自带的derby数据库中,推荐使用MySQL数据库存储MetaStore。(3)Hadoop集群:使用HDFS进行存储数据,使用MapReduce进行计算。(4)Driver:驱动器:解析器(SQL Parser):将SQL字符串换成抽象语法树AST,对AST进行语法分析,像是表是否存在、字段是否存在、SQL语义是否有误。编译器(Physical Plan):将AST编译成逻辑执行计划。优化器(Query Optimizer):将逻辑计划进行优化。执行器(Execution):把执行计划转换成可以运行的物理计划。对于Hive来说默认就是Mapreduce任务。通过Hive**对数据进行数据分析过程**:在这里插入图片描述

2、Hive交互方式

需要先启动hadoop集群和MySQL服务

2.1、Hive交互shellcd/opt/bigdata2.7/hive (hive的安装路径,根据自己实际情况改变)bin/hive

在这里插入图片描述​可以在命令端口写上HQL语句:show databases;验证是否可用。

2.2、JDBC交互

输入hiveserver2相当于开启了一个服务端,查看hivesever2的转态在这里插入图片描述

输入netstat–nlp命令查看:

在这里插入图片描述​运行hiveserver2相当于开启了一个服务端,端口号10000,需要开启一个客户端进行通信,所以打开另一个窗口,输入命令beeline.,Beeline连接方式:!connect jdbc:hive2://node1:10000,主意不要省略!在这里插入图片描述当然了hiveserver2服务端可以运行在后台:

nohup hiveserver2 &3、Hive数据类型3.1基本数据类型类型名称描述举例booleanTrue/falseTruetinyint1字节的有符号整数1Smallint2字节的有符号整数1int4字节的有符号整数1Bigint8字节的有符号整数1Float4字节精度浮点数1.0Double8字节精度浮点数1.0String字符串(不设长度)“adcadfaf”Varchar字符串(1-65355)“adfafdafaf”Timestamp时间戳123454566date日期201602023.2复合数据类型类型名称描述举例Array一组有序的字段,字段类型必须相同的array(元素1,元素2)Array(1,2,4)Map一组无序的键值对map(k1,v1,k2,v2)Map(‘a’,1,’b’,2)Struct一组命名的字段,字段类型可以不同struct(元素1,元素2)Struct(‘a’,1,2,0)

​(1)Array字段的元素访问方式:下标获取元素,下标从0开始

比如:获取第一元素:array[0]

(2)Map字段的访问方式:通过键获取值

比如:获取a这个key对应的value:map[‘a’]

(3)struct字段的元素获取方式:

定义一个字段c的类型为struct(a int;b string)

获取a和b的值:

create table complex( col1 array, col2 map, col3 struct )4、Hive数据类型转换4.1、隐式类型转换

​系统自动实现类型转换,不需要客户干预

如:tinyint可以转换成int,int可以转成bigint

所有整数类型、float、string类型都可以隐式转转换成double

tinyint、samllint、int都可以转成float

boolean不可以转成其他任何类型

4.2、手动类型转换

​可以使用cast函数显示的进行数据类型转换

​例如:cast(‘1’ as int)把字符串’1’转成整数1

所有整数类型、float、string类型都可以隐式转转换成double

tinyint、samllint、int都可以转成float

boolean不可以转成其他任何类型

4.2、手动类型转换

​可以使用cast函数显示的进行数据类型转换

​例如:cast(‘1’ as int)把字符串’1’转成整数1

​如果强制转换类型失败,如执行cast(‘x’ as int)表达式返回NULL。

免责声明:非本网注明原创的信息,皆为程序自动获取自互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明(版权证明、身份证正反面、侵权链接),站长将在收到邮件24小时内删除。

相关阅读

最新推荐

more