宴硕 大数据技术专业 大数据专业能力实战

项目简介：

Yelp本地商户评价与用户口碑大数据项目围绕真实本地生活平台数据，构建了从数据采集、HDFS 存储、Hive 分层数仓、Spark 离线与实时计算、MySQL 结果承接到可视化大屏展示的完整链路，体现较强专业性。项目引入实时评论流监控、低分舆情预警、商户价值聚类和好评预测等高阶分析，具有创新性。业务场景贴近本地生活服务、商户运营和用户口碑管理，符合产教融合导向。成果可辅助城市商圈分析、品类优化、商户运营决策，具备实用价值。同时项目融合数仓、计算、迁移、机器学习和前端展示，多模块协同完成综合应用。

主要技术：

Yelp 项目主要技术包括：

HDFS：存储 Yelp 原始 JSON 数据和流式数据文件。

Hive：构建 ODS、DWD、DWS、ADS 四层数据仓库，完成商户、评论、用户、签到等主题分析。

Sqoop：将 Hive ADS 离线结果导出到 MySQL。

Spark Core：完成原始 JSON 数据探索、商户数量、评论数量、星级分布等离线统计。

Spark SQL：完成城市口碑、品类好评率、热门商户、州级趋势等增强分析。

Spark Streaming：模拟实时评论流，统计实时星级和低分评论。

Structured Streaming：基于 HDFS JSON 文件流完成窗口统计和实时舆情监控。

Spark MLlib：实现评论好评预测和商户价值聚类。

MySQL：承接离线、实时、机器学习结果表。

前端可视化：使用 HTML、CSS、JavaScript 构建 Yelp 口碑可视化大屏。

图1 口碑大屏可视化1

图2 口碑大屏可视化

图3 实时舆情大屏可视化

图4 商户画像

图5 离线技术路线

图6 实时技术路线