当前位置:主页 > 计算机软件论文 >

基于Python新闻排行榜网络爬虫

更新时间:2019-07-29
阅享价格80元 资料包括:原始论文 点击这里给我发消息QQ在线咨询
文档格式:doc/docx 全文字数:8600 温馨提示
以下仅列出文章摘要、提纲简介,如需获取全文阅读权限,或原创定制、长期合作,请随时联系。
微信QQ:312050216 点击这里给我发消息
扫一扫 扫一扫
基于Python新闻排行榜网络爬虫

摘 要:通过设计爬虫程序抓取新闻网页内容, 筛选有价值的数据,最终以网页的方式呈现给用户,这样实现了新闻排行榜的设计。系统的框架结构为爬虫+MySQL+Django,在Python2.7、PyCharm环境下设计与实现。爬虫抓取数据,MySQL存储数据,Web显示数据,三者结合实现了前端和后端的数据交互,完成了爬取数据、存储数据、筛选价值数据及显示数据的功能。
关键词:Python;网络爬虫;MySQL;Django

目录

1绪论 1
1.1研究背景及意义 1
1.2研究现状 2
1.3本次课题研究内容 2
2关键技术概要 2
2.1Python语言 3
2.2爬虫技术 3
2.2.1爬虫技术的概念 3
2.2.2爬虫的框架简介 3
2.2.3开发使用的Python模块 4
2.3Web开发 4
2.3.1前端技术 4
2.3.2后端框架 4
2.4MySQL数据库 6
3需求分析 7
3.1技术可行性 7
3.2功能需求 7
3.3本毕业设计所要达到的目标 8
4系统的总体设计与详细设计 8
4.1数据库设计 8
4.3界面设计 9
4.4系统功能设计 10
4.4.1爬虫功能的设计 10
4.4.2用户注册登录功能设计 11
5系统的实现 12
5.1数据库管理模块的实现 12
5.2系统功能的实现 14
5.2.1爬虫功能的实现 14
5.2.2用户注册登录功能的实现 15
5.3网站界面的实现 16
5.3.1用户注册登录页面的实现 16
5.3.2网站主界面的实现 17
6测试与分析 18
6.1爬虫功能测试 18
6.2网站功能测试 19
6.2.1服务器启动 19
6.2.2用户注册登录功能 19
6.2.3网站排行榜测试 20
7结束语 23
参考文献 24
致谢 25