船运信息主题爬虫系统设计

马丽娇; 潘维民

0
0
浏览
下载

摘要
关键词
基金信息
论文图表
同行评议
相关论文
评论

船运信息主题爬虫系统设计

首发时间：2013-11-20

马丽娇 ¹
马丽娇（1989-），女，研究生，多媒体与网络信息处理
潘维民 ²
潘维民（1969-），男，博士，副教授，硕士生导师，主要研究方向：数理逻辑，计算金融学，数据分析，行业应用软件

1、北京邮电大学计算机学院
2、北京邮电大学计算机学院，北京 100876

摘要：随着网络上信息的爆炸式增长，人们获取所需信息变得越来越困难。本文围绕主题搜索引擎这一社会研究的新热点技术，对主题搜索引擎中占重要地位的主题爬虫给予研究和讨论。研究了主题爬虫在航运信息领域的应用，进行框架设计和优化，根据航运主题改进爬虫中的模块，并利用过滤URL，网页分类，建立表单集，表单输入等方法提高了航运信息主题爬虫的爬行覆盖率和准确率。最后通过测试实验，给出了测试结果和分析。

关键词：主题爬虫过滤分类船运信息 Jsoup

For information in English, please click here

Focused Crawler of Shipping Information System

MA Lijiao ¹
马丽娇（1989-），女，研究生，多媒体与网络信息处理
PAN Weimin ²
潘维民（1969-），男，博士，副教授，硕士生导师，主要研究方向：数理逻辑，计算金融学，数据分析，行业应用软件

1、computer science,Beijing University of Posts and Telecommunications
2、Beijing University of Posts and Telecommunications,Beijing 100876

Abstract：With the rapid growth of the Internet,the conflict between the growth of the Web information and the ability of people achieving it is becoming huger and huger.Surrounding the research on this hotspot,the important part of the topic-specific search engine that is called focused crawler is discussed in this paper.The paper researches application of the topic crawler in the field of the shipping information and optimizes the design of the frame.The crawler module has been improved based on the shipping theme.By using filtering URL,web page classification ,building form and inputing form,the paper has enhanced the coverage and accuracy of the topic crawler .The performance of this crawler is tested and the result is presented.

Keywords： Focused crawler Filtering Classification The shipping information Jsoup

基金：

论文图表：

引用

导出参考文献

.txt

.ris

.doc

马丽娇，潘维民. 船运信息主题爬虫系统设计[EB/OL]. 北京：中国科技论文在线 [2013-11-20]. https://www.paper.edu.cn/releasepaper/content/201311-383.

No.****

同行评议

共计0人参与

全部评论

0/1000

论文编号	201311-383
论文题目	船运信息主题爬虫系统设计
文献类型
收录期刊	上传封面中文期刊英文期刊期刊名称（中文）期刊名称（英文）年，卷（）上传封面中文专著英文专著书名（中文）书名（英文）出版地出版社出版年上传封面中文译著英文译著书名（中文）书名（英文）出版地出版社出版年上传封面中文论文集英文论文集编者.论文集名称（中文） [c]. 出版地出版社出版年， - 编者.论文集名称（英文） [c]. 出版地出版社出版年，- 上传封面中文文献英文文献期刊名称（中文）期刊名称（英文）日期-- 在线地址http:// 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期-- 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期--
英文作者写法：中外文作者均姓前名后，姓大写，名的第一个字母大写，姓全称写出，名可只写第一个字母，其后不加实心圆点“.”, 作者之间用逗号“，”分隔，最后为实心圆点“.”, 示例1：原姓名写法：Albert Einstein,编入参考文献时写法：Einstein A. 示例2：原姓名写法：李时珍；编入参考文献时写法：LI S Z. 示例3：YELLAND R L,JONES S C,EASTON K S,et al.