支持AJAX的分布式爬虫的研究与设计

姬硕; 辛阳; 辛晓杰

0
0
浏览
下载

摘要
关键词
基金信息
论文图表
同行评议
相关论文
评论

支持AJAX的分布式爬虫的研究与设计

首发时间：2015-12-21

姬硕 ¹
姬硕（1990-），男，硕士研究生，主要研究方向：信息安全与灾备技术
辛阳 ¹
辛阳（1977-），男，副教授，主要研究方向：信号与信息处理
辛晓杰 ¹
辛晓杰（1989-），女，硕士研究生，主要研究方向：信息安全与灾备技术

1、北京邮电大学信息安全中心，北京 100876

摘要：随着Web2.0时代的到来，以AJAX为代表的动态技术被广泛应用，传统爬虫无法完整获取使用了AJAX异步通信和动态加载技术的网站的页面内容，大大影响了爬虫的功能。此外，随着网站功能不断丰富，网站规模也变得越来越大，单机爬虫爬取速度等方面的性能已经不能满足要求。针对上述问题，本文研究并设计了支持AJAX的分布式爬虫，通过内嵌浏览器内核来解析执行JavaScript/AJAX，获取更多的页面内容；同时研究并设计了分布式爬虫，扩展计算资源，提高爬虫的效率和稳定性。

关键词：网络爬虫分布式技术 AJAX WebKit

For information in English, please click here

Research and Design of Support AJAX Distributed Crawler

JI Shuo ¹
姬硕（1990-），男，硕士研究生，主要研究方向：信息安全与灾备技术
XIN Yang ²
辛阳（1977-），男，副教授，主要研究方向：信号与信息处理
XIN Xiaojie ²
辛晓杰（1989-），女，硕士研究生，主要研究方向：信息安全与灾备技术

1、Information Security Center, Beijing University of Posts and Telecommunication, Beijing 100876
2、Information Security Center, Beijing University of Posts and Telecommunications, Beijing 100876

Abstract：With the arrival of the Web2.0 era, dynamic technology represented by AJAX has been widely used to websites, the traditional crawler cannot get the complete page content of a web page which using AJAX to communicate asynchronously and load site dynamically, the function of crawler has been affected severely. In addition, with the site's features continue to enrich, the size of the website has become more and more large, the performance of a single crawler has been unable to meet the requirements. In view of the above problems, this paper analyzes and designs a distributed crawler, which supports AJAX. More pages content can be get through the embedded browser kernel which parses JavaScript/AJAX, and the distributed architecture is benefit to expand the computing resources and improve the efficiency and stability of the crawler.

Keywords： Web Crawler Distributed Technology AJAX WebKit

基金：

1. 国家高技术研究发展计划（BY2015AA016005）

论文图表：

引用

导出参考文献

.txt

.ris

.doc

姬硕，辛阳，辛晓杰. 支持AJAX的分布式爬虫的研究与设计[EB/OL]. 北京：中国科技论文在线 [2015-12-21]. https://www.paper.edu.cn/releasepaper/content/201512-1030.

No.4671215112421014****

同行评议

共计0人参与

全部评论

0/1000

论文编号	201512-1030
论文题目	支持AJAX的分布式爬虫的研究与设计
文献类型
收录期刊	上传封面中文期刊英文期刊期刊名称（中文）期刊名称（英文）年，卷（）上传封面中文专著英文专著书名（中文）书名（英文）出版地出版社出版年上传封面中文译著英文译著书名（中文）书名（英文）出版地出版社出版年上传封面中文论文集英文论文集编者.论文集名称（中文） [c]. 出版地出版社出版年， - 编者.论文集名称（英文） [c]. 出版地出版社出版年，- 上传封面中文文献英文文献期刊名称（中文）期刊名称（英文）日期-- 在线地址http:// 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期-- 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期--
英文作者写法：中外文作者均姓前名后，姓大写，名的第一个字母大写，姓全称写出，名可只写第一个字母，其后不加实心圆点“.”, 作者之间用逗号“，”分隔，最后为实心圆点“.”, 示例1：原姓名写法：Albert Einstein,编入参考文献时写法：Einstein A. 示例2：原姓名写法：李时珍；编入参考文献时写法：LI S Z. 示例3：YELLAND R L,JONES S C,EASTON K S,et al.