非官方分析,仅供参考

发布时间:2025-06-24 20:07:32  作者:北方职教升学中心  阅读量:475


再次重申󿀌本文非官方分析󿀌仅供参考。

登录MRS Manager,在服务管理中找到Hue服务󿼌点击Hue进入后(Master)进入Hue界面。

非官方分析,仅供参考。

create table ads_msg.msg_cnt asselect msg_day,count(*) as msg_day_cnt from dws_msg.msg_etl group by msg_day;
b. 每小时消息量、

a. 过滤GPS定位字段空的数据,然后通过时间字段构建天(格式是yyyyyyy-MM-dd)时间段,经度和纬度数据࿰从GPS的经纬度提取c;最后,在空白处编写HQL语句,要求查看 ADS 层层表内容󿀌并通过图标显示指标数据。

c. msg_usr_top10:柱状图。

侵权,请及时联系我删除文章。

截图只放标题要求的,另写命令。

考点1:创建数据表。
考点1:数据ETL清洗。
b. 上传完成后,

d. msg_sender_phone:饼状图。

create table ads_msg.msg_sender_phone asselect sender_phonetype,count(*) as sender_phonetype_cnt from dws_msg.msg_etlgroup by sender_phonetype;

任务6:Hue可视化显示。

create table dws_msg.msg_etl asselectmsg_time,from_unixtime(unix_timestamp(msg_time), 'yyyy-MM-dd') as msg_day,from_unixtime(unix_timestamp(msg_time), 'HH') as msg_hour,sender_name,sender_account,sender_sex,sender_ip,sender_os,sender_phonetype,sender_network,sender_gps,split(sender_gps,' ')[0] as sender_latitude,split(sender_gps,' ')[1] as sender_longitude,receiver_name,receiver_ip,receiver_account,receiver_os,receiver_phonetype,receiver_network,receiver_gps,split(receiver_gps,' ')[0] as receiver_latitude,split(receiver_gps,' ')[1] as receiver_longitude,receiver_sex,msg_type,distancefrom ods_msg.msg_sourcewhere sender_gps != '';# 截图a. select * from dws_msg.msg_etl limit 5;
任务5:指标计算。Query在主界面上方 选择Editor Hive。

这个查询应该是正确的,感觉是Hue的问题。

任务3:数据上传到Hive。
hdfs dfs -cat /user/chat/chat_data.csv | head -5。
a. 日期统计每日总消息量,表名称:msg_cnt。查看前五行数据。
create table ads_msg.msg_usr_cnt asselectmsg_day,count(sender_account) as sender_usr_cnt,count(receiver_account) as receiver_usr_cntfrom dws_msg.msg_etlwhere msg_day='2023-01-01'group by msg_day;
d. 发送消息的数量 top10 用户,表名称:msg_usr_top10。发送和接收用户数量󿀌表名称:msg_usr_cnt。

b. msg_usr_cnt:饼状图。

a. 将数据文件上传到HDFS集群/user/chat目录;

hdfs dfs -mkdir /user/chathdfs dfs -put chat_data.csv /user/chat。= '';# 截图a. select * from dws_msg.msg_etl limit 5;

任务5:计算指标。发送量和接收用户数量,表名称:msg_hour_cnt。

考点1:计算数据指标。

create table ads_msg.msg_usr_top10 asselectsender_account,count(*) as sender_msg_cntfrom dws_msg.msg_etlgroup by sender_accountorder by sender_msg_cnt desclimit 10;
e. 发送人手机型号分布,表名称:msg_sender_phone。

3.2.5.任务1:购买MRS服务 略.任务2:数据上传

考点1:数据上传。

标题来自华为Talent官网《华为ICT大赛2023-2024实践赛云赛道真题实战课程,侵权,请及时联系我删除文章。

create table ads_msg.msg_hour_cnt asselectmsg_hour,count(*) as msg_hour_cnt,count(sender_account) as sender_msg_cnt,count(receiver_account) as receiver_usr_cntfrom dws_msg.msg_etl group by msg_hour;
c. 2023年1月1日,并将HDFS数据上传到Hive。

a. msg_hour_cnt:柱状图。

a. 在Hive中创建数据库,在ODS层创建表,


登录MRS Manager,在服务管理中找到Hue服务󿼌点击Hue进入后(Master)进入Hue界面。

考点1:数据ETL清洗。

create database ods_msg;create database dws_msg;create database ads_msg;create table ods_msg.msg_source(msg_time String,sender_name String,sender_account String,sender_sex String,sender_ip String,sender_os String,sender_phonetype String,sender_network String,sender_gps String,receiver_name String,receiver_ip String,receiver_account String,receiver_os String,receiver_phonetype String,receiver_network String,receiver_gps String,receiver_sex String,msg_type String,distance String)row format delimitedfields terminated by ','stored as textfile;load data inpath '/user/chat/chat_data.csv' into table ods_msg.msg_source;#截图:a. show databases;b. desc ods_msg.msg_source;c. select * from ods_msg.msg_source limit 5;

任务4:数据ETL清洗操作。将ETL后的结果保存到DWS层的新Hive表中。