面向BBS的主题爬虫系统的分析与设计

赵晓阳; 辛阳

0
0
浏览
下载

摘要
关键词
基金信息
论文图表
同行评议
相关论文
评论

面向BBS的主题爬虫系统的分析与设计

首发时间：2011-10-14

赵晓阳 ¹
赵晓阳，（1985-），女，硕士研究生，信息安全。
辛阳 ¹
辛阳（1977-），男，副教授，移动通信网络安全、计算机网络安全

1、北京邮电大学信息安全中心

摘要：BBS是当前网络用户发表评论、自由交流的重要平台，也成为了用户需求和商业价值等重要信息的聚集地。主题爬虫是一种面向主题的信息搜集系统，可以根据用户需要从互联网上自动搜集与主题相关信息，在主题搜索引擎、站点结构分析等方面取得越来越广泛的应用。本文首先阐述了主题爬虫的工作原理、模块组成及其实现所需的关键技术，然后通过分析动态网页的目录型结构和BBS的文本结构，设计了一种具有较强通用性的BBS爬虫抓取方案，并详细描述了主题爬虫的设计方案。并与通用网络爬虫方案进行了对比。

关键词： BBS 主题爬虫搜索算法舆情监控

For information in English, please click here

The Analysis and Design of Theme Crawler System for Topics in BBS

Zhao Xiaoyang ¹
赵晓阳，（1985-），女，硕士研究生，信息安全。
Xin Yang ¹
辛阳（1977-），男，副教授，移动通信网络安全、计算机网络安全

1、Information Security Center, Beijing University of Posts and Telecommunications

Abstract：BBS is an important platform for the current network users to make comments and exchange views. There is lots of commercial value, user needs and other important information here. Focused crawler is a topic-oriented information collection system, which can collect information relevant to the subject automatically from the Internet according to user needs, It is used more and more widely in the design of subject search engine and analysis of site structure. This paper describes the principle, main modules and the key technologies of focused Web crawler. A general scheme of the BBS information extraction Web crawler is designed by analyzing the directory structure of dynamic web pages and text structure of BBS. After that, the analysis and design of the focused crawler is described in detail. Finally, Contrast the scheme crawler with the general Web crawler program.

Keywords： BBS Focused Crawler Search Algorithm Monitoring

基金：

论文图表：

引用

导出参考文献

.txt

.ris

.doc

赵晓阳，辛阳. 面向BBS的主题爬虫系统的分析与设计[EB/OL]. 北京：中国科技论文在线 [2011-10-14]. https://www.paper.edu.cn/releasepaper/content/201110-113.

No.****

同行评议

共计0人参与

全部评论

0/1000

论文编号	201110-113
论文题目	面向BBS的主题爬虫系统的分析与设计
文献类型
收录期刊	上传封面中文期刊英文期刊期刊名称（中文）期刊名称（英文）年，卷（）上传封面中文专著英文专著书名（中文）书名（英文）出版地出版社出版年上传封面中文译著英文译著书名（中文）书名（英文）出版地出版社出版年上传封面中文论文集英文论文集编者.论文集名称（中文） [c]. 出版地出版社出版年， - 编者.论文集名称（英文） [c]. 出版地出版社出版年，- 上传封面中文文献英文文献期刊名称（中文）期刊名称（英文）日期-- 在线地址http:// 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期-- 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期--
英文作者写法：中外文作者均姓前名后，姓大写，名的第一个字母大写，姓全称写出，名可只写第一个字母，其后不加实心圆点“.”, 作者之间用逗号“，”分隔，最后为实心圆点“.”, 示例1：原姓名写法：Albert Einstein,编入参考文献时写法：Einstein A. 示例2：原姓名写法：李时珍；编入参考文献时写法：LI S Z. 示例3：YELLAND R L,JONES S C,EASTON K S,et al.