李嘉豪大数据24102

项目简介：

本项目聚焦于2024年北京市全年天气数据的爬取，利用python编写，scrapy框架搭建爬虫平台，进行数据爬取，利用正则进行数据筛选，利用循环来改变网址，不断地进行循环刷新网址，利用csv经行数据存储，同时改变访问时间延长访问，防止被反爬取。

主要技术：

该项目爬取2024年北京市全年天气数据时，使用Python语言及Scrapy框架搭建爬虫平台，通过创建包含日期、最高气温、最低气温、天气状况、风向等实体的DzyItem类来规范数据结构；利用列表推导式生成2024年1-12月的目标网址，通过循环改变网址实现持续爬取，同时改变访问时间以延长访问间隔，防止被反爬。在数据提取环节，采用XPath定位网页中天气数据条目，结合.strip()方法处理提取的字段以去除空格，并借助正则进行数据筛选；数据存储方面，通过定义DzyPipeline类，利用csv模块将爬取的数据写入CSV文件。此外，还对数据进行了可视化处理，生成了每月气温对比图、温度与风力关系散点图以及全年温度日历热力图等。