首页 > 论文 > 大气与环境光学学报 > 12卷 > 3期(pp:230-235)

基于正文特征和网页结构的网页正文抽取方法

Method of Web Page Text Extraction Based on Text Feature and Page Structure

  • 摘要
  • 论文信息
  • 参考文献
  • 被引情况
  • PDF全文
分享:

摘要

Web信息抽取技术一直是信息技术领域的研究热点。而且,近年来,DIV+CSS的网页布局方法开始普遍应用于网页设计中。基于此,提出了一种较为 简单和实用的基于正文特征和网页结构的新闻网页正文抽取方法。首先识别和提取网页正文内容块,然后利用正则表达式滤除内容块中的HTML标记 并提取网页正文。实验结果表明,该方法对正文抽取具有较高的通用性与准确率。

Abstract

Web information extraction technology has been a hot topic in the field of information technology. Moreover, in recent years, DIV + CSS page layout method was commonly used in web design. Based on this, a simple and practical method for the text extraction of news web pages based on text features and page structure is presented. The text content block on the page is identified and extracted firstly, and then regular expression is used to filter the HTML tag of content block and the main text of the web page is extracted. Experimental results show that the method has great universal property and accuracy rate in text extraction.

Newport宣传-MKS新实验室计划
补充资料

中图分类号:TP391

DOI:10.3969/j.issn.1673-6141.2017.03.009

所属栏目:光电技术

基金项目:Supported by Strategic Priority Research Program of the Chinese Academy of Sciences(中国科学院战略性先导科技专项, XDB05040300)

收稿日期:2016-01-12

修改稿日期:2016-02-17

网络出版日期:--

作者单位    点击查看

胡露露:中国科学院安徽光学精密机械研究所中国科学院大气成分与光学重点实验室, 安徽合肥 230031
刘小勤:中国科学院安徽光学精密机械研究所中国科学院大气成分与光学重点实验室, 安徽合肥 230031
孙凯:中国科学技术大学自动化系,安徽 合肥 230026

联系人作者:胡露露(hllyyy@mail.ustc.edu.cn)

备注:胡露露(1991-),女,安徽省涡阳县人,硕士研究生,主要从事计算机应用方面的研究。

【1】Liu L, Pu C. XWRAP: an XML 2 enable wrapper constructionsystem for the Web information source [C]//Proceedings of the 16th IEEE International Conference onData Engineering, 2000: 611-620.

【2】Ma Ling, Goharian N, Chowdhury A,et al. Extracting unstructured data from template generated Web documents [C]//Proceedings of the 12th International Conference on Information and Knowledge anagement, 2003: 512-515.

【3】Mei Xue, Cheng Xueqi, Guo Yan,et al. Fully automatic Wrapper generation for web information extraction [J]. Journal of Chinese Information Processing, 2008, 22(1): 22-29(in Chinese).
梅 雪, 程学旗, 郭 岩, 等. 一种全自动生成网页信息抽取Wrapper的方法 [J]. 中文信息学报, 2008, 22(1): 22-29.

【4】Sun Chengjie, Guan Yi. A statistical approach for content extraction from web page [J].Journal of Chinese Information Processing, 2004, 18(5): 17-22(in Chinese).
孙承杰, 关 毅. 基于统计的网页正文信息抽取方法的研究[J]. 中文信息学报, 2004, 18(5): 17-22.

【5】Sun Hao, Dong Shoubin. Adaptive approach for content extraction based on tag density [J].Journal of Zhengzhou University, 2009, 41(1): 44-47(in Chinese).
孙 皓, 董守斌. 基于标签密度的自适应正文提取方法 [J]. 郑州大学学报, 2009, 41(1): 44-47.

【6】An Zengwen, Wang Chao, Xu Jiefeng. An approach based on machine learning for information extraction method [J].Microcomputer & Its Applications, 2010(12): 4-6(in Chinese).
安增文, 王 超, 徐杰锋. 基于机器学习的网页正文提取方法 [J]. 微型机与应用, 2010(12): 4-6.

【7】You Guirong, Lu Yuchang. Extraction of topical information from Chinese web page based on the statistic and machine learning [J].Journal of Fujian Commercial College, 2009, 4(2): 68-72(in Chinese).
游贵荣, 陆玉昌. 基于统计和机器学习的中文Web网页正文内容抽取 [J]. 福建商业高等专科学校学报, 2009, 4(2): 68-72.

引用该论文

HU Lulu,LIU Xiaoqin,SUN Kai. Method of Web Page Text Extraction Based on Text Feature and Page Structure[J]. Journal of Atmospheric and Environmental Optics, 2017, 12(3): 230-235

胡露露,刘小勤,孙凯. 基于正文特征和网页结构的网页正文抽取方法[J]. 大气与环境光学学报, 2017, 12(3): 230-235

您的浏览器不支持PDF插件,请使用最新的(Chrome/Fire Fox等)浏览器.或者您还可以点击此处下载该论文PDF