马家浚 大数据技术·实训学期 

项目简介：

该系统为全链路音乐数据处理与分析 Web 系统，技术与业务深度融合。数据采集端用 Python 爬虫，结合 Selenium 模拟浏览器与 Requests 发送 HTTP 请求，爬取网易云音乐歌单、播放量、评论、歌词等数据，以随机延时规避反爬，保障数据完整。

数据处理采用 “双路径治理”：一是数据上传阿里云 DataWorks，经接入校验、标签去重、指标计算后导出，再用 Python 脚本写入 SQLite3；二是数据直接写入 SQLite3，通过 Python 正则剔除脏数据、自定义函数处理空值、Time 模块统一时间格式，形成标准数据表。

系统接入阿里云通义千问大模型，基于处理后的标准化音乐数据进行模型训练，使其既能针对性回答音乐领域问题，也具备通用问答能力。

展示层基于 Flask 构建，后端用 app.py 定义路由接口，前端整合 ECharts 与 Tailwind CSS，呈现数据质量监控、标签价值分析、业务趋势大屏及词云可视化，结合 AI 问答功能实现查询、分析、智能交互一体化。系统借多工具协同，完成数据从采集到智能洞察的闭环，兼顾灵活性与专业性。

主要技术：

图片展示：

图1 主页面

图二 数据质量监控看板

图三 标签价值分析看板

图四 业务趋势分析看板

图五 个人信息及A助手展示页面