项目托管平台地址:
开发模块功能: "get_info()单个页面的爬取"功能,开发时间:15天(小时),实现了"对签250电影任意页面准确的将信息爬取下来",实现过程是"通过requests包和b4包将页面的html源码下载, 并分析提取出来" "get_urls()生成前250电影的页面地址"功能,开发时间:1天(小时),实现了"前250电影的页面地址生成并封装传递给其他模块",实现过程是 python def get_urls(): base_url = r' =' urls = [] for i in range(0, 11): index = i * 25 url = base_url % (index) urls.append(url) return urls 通过分析地址的规则, 构造get的filter传参 遇到的问题及问题解决方法: 开发电影地址获取时遇到了"无法请求到页面"的问题,最终使用"在请求头加入firefox浏览器标识"方法解决了这个问题