博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
课后作业-团队编程项目总结
阅读量:6311 次
发布时间:2019-06-22

本文共 494 字,大约阅读时间需要 1 分钟。

项目托管平台地址:

开发模块功能:
"get_info()单个页面的爬取"功能,开发时间:15天(小时),实现了"对签250电影任意页面准确的将信息爬取下来",实现过程是"通过requests包和b4包将页面的html源码下载, 并分析提取出来"
"get_urls()生成前250电影的页面地址"功能,开发时间:1天(小时),实现了"前250电影的页面地址生成并封装传递给其他模块",实现过程是
python def get_urls(): base_url = r' =' urls = [] for i in range(0, 11): index = i * 25 url = base_url % (index) urls.append(url) return urls
通过分析地址的规则, 构造get的filter传参
遇到的问题及问题解决方法:
开发电影地址获取时遇到了"无法请求到页面"的问题,最终使用"在请求头加入firefox浏览器标识"方法解决了这个问题

转载于:https://www.cnblogs.com/kangkang123/p/7931407.html

你可能感兴趣的文章
2017-09-30 前端日报
查看>>
nodejs模块整理
查看>>
开发之路(设计模式六:命令模式下)
查看>>
spring-springmvc-mybatis项目介绍
查看>>
葡萄城报表V11 SP2新版本震撼发布!
查看>>
React结合webpack配置(2)
查看>>
「前端」weex页面传参
查看>>
Hive中常被忽视的利器——宏
查看>>
MVP - 收藏集 - 掘金
查看>>
使用css完成引导用户按照流程完成任务的进度导航条
查看>>
Android Gradle manifestPlaceholders 占位符详解
查看>>
Mac下配置phpstorm
查看>>
腾讯正式对外开源高性能 RPC 开发框架与微服务平台Tars
查看>>
[elixir! #0033] 在 elixir 项目中使用 riak 数据库(2) ---- 启用 solr 搜索
查看>>
基于react+bootstrap+koa2开发的“微说说”
查看>>
教你如何用Swift写个json转模型的开源库
查看>>
前端周刊第50期:React 状态管理 + Vue.js 作弊条 + 命令行技巧
查看>>
gRPC服务发现&负载均衡
查看>>
express某些方法的一点注释
查看>>
Manacher算法
查看>>