樊锦东 大数据技术·大三实训学期

项目简介：

本项目基于Hadoop、Spark等大数据技术栈，构建了数据仓库并运用Django框架搭建了稳健的全栈式Web应用平台。高阶创新性体现在其核心的多模态数据融合能力，项目成功实现了对ERA5全球再分析数据（结构化数值）与Sentinel-2卫星影像（非结构化图像）的深度整合与分析。此外，平台前瞻性地集成了轻量级Transformer架构识别模型与Gemini大语言模型API，将传统数据展示提升至智能化分析与交互的新高度。产教融合性紧密，项目将大数据、人工智能等前沿课程知识转化为解决地球科学领域实际科研难题的工具，直面跨学科研究中数据处理效率低下的痛点。平台提供从数据采集、清洗、融合到交互式可视化的全流程解决方案，显著降低了科研人员的数据处理门槛，可直接赋能科研工作，提升研究效率。协同性贯穿始终，项目有效协同了后端大数据集群、前端Web服务与AI智能模块，并通过对接Gist、Google Colab等外部工具，构建了一个开放、可扩展、协同高效的科研数据分析环境。

主要技术：

Apache Hadoop, Apache Hive, Apache Spark, MySQL, Python, HTML, CSS, JavaScript, AJAX, Django, Jupyter Kernel, Pyecharts, Plotly, Matplotlib, Transformer, Gemini (LLMs API), GSAP, Leaflet, Termius

图1 数据仓库纬度模型图

图2 数据流图

图3 基于Plotly的多模态融合地形数字孪生与Sentinel2多通道post-processed图像可视页面

图4 阿尔卑斯山、波河平原、利古里亚海和蔚蓝海岸