适于垃圾文本流过滤的条件概率集成方法*

doi:10.3778/j.issn.1673-9418.2010.05.007

计算机科学与探索 ›› 2010, Vol. 4 ›› Issue (5): 445-454.DOI: 10.3778/j.issn.1673-9418.2010.05.007

适于垃圾文本流过滤的条件概率集成方法*

刘伍颖, 王挺⁺

国防科技大学计算机学院, 长沙 410073

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2010-05-11 发布日期:2010-05-11
通讯作者: 王挺

Ensemble Approach of Conditional Probability for Spam Text Stream Filtering*

LIU Wuying, WANG Ting⁺

College of Computer, National University of Defense Technology, Changsha 410073, China

Received:1900-01-01 Revised:1900-01-01 Online:2010-05-11 Published:2010-05-11
Contact: WANG Ting

摘要/Abstract

摘要： 通过用于垃圾文本流过滤的在线文本分类研究, 提出了一种新的条件概率集成方法。采用语汇序列表示文本, 使用索引结构存储分类知识, 设计实现了分类模型的在线训练算法和在线分类算法。抽取电子邮件和手机短信的多种文本特征, 分别在TREC07P电子邮件语料和真实中文手机短信语料上进行了垃圾信息过滤实验。实验结果表明, 提出的方法能够获得很好的垃圾信息过滤效果。

关键词: 垃圾过滤, 文本流, 集成条件概率, 语汇序列, 索引

Abstract: Through the investigation of online text classification for spam text stream filtering, a novel ensemble approach of conditional probability is proposed. Applying token sequence to represent text and applying index to store classification knowledge, an online training algorithm of classification model and an online classifying algorithm are designed and implemented. Through multiple text features extraction from email and short message service (SMS) document, some spam filtering experiments are run on TREC07P email corpus and real Chinese SMS corpus sepa-rately. The experimental results show that the proposed approach can achieve better filtering effect.

Key words: spam filtering, text stream, ensemble conditional probability(ECP), token sequence, index

中图分类号:

TP391.1

刘伍颖, 王挺+ . 适于垃圾文本流过滤的条件概率集成方法*[J]. 计算机科学与探索, 2010, 4(5): 445-454.

LIU Wuying, WANG Ting⁺. Ensemble Approach of Conditional Probability for Spam Text Stream Filtering*[J]. Journal of Frontiers of Computer Science and Technology, 2010, 4(5): 445-454.

[1]	宋雨萌，陈默，于戈. 时序地理社交网络中基于动态偏好的组查询[J]. 计算机科学与探索, 2019, 13(11): 1813-1828.
[2]	李宇珺，彭智勇，吴瑕，兰海，彭煜玮. IPI：灵活高效的对象代理数据库索引结构[J]. 计算机科学与探索, 2018, 12(8): 1191-1201.
[3]	王斌，郝鹏飞，吴加跃，胡义香. TVDSM:支持透明计算的虚拟磁盘存储模型[J]. 计算机科学与探索, 2018, 12(3): 350-359.
[4]	申金鑫，吴烨，陈荦，景宁. 面向空间在线分析的并行近似聚集查询[J]. 计算机科学与探索, 2018, 12(10): 1559-1570.
[5]	史太齐，刘亮，秦小麟 . DCST：主存空间高效的缓存敏感型T-树索引研究[J]. 计算机科学与探索, 2017, 11(2): 221-230.
[6]	车庆首，李传文，张轶，邓庆绪. GAPI：GPU加速的移动对象并行索引方法[J]. 计算机科学与探索, 2017, 11(11): 1713-1722.
[7]	王海翔，郑吉平，王永阁. 结合非空间属性的通用Skyline查询处理技术[J]. 计算机科学与探索, 2016, 10(7): 936-947.
[8]	胡昱璞，牛保宁. 动态确定K值聚类算法的R-树空间索引构建[J]. 计算机科学与探索, 2016, 10(2): 173-181.
[9]	张丽平，刘蕾，李松，于嘉希. 空间数据库中基于Voronoi图的组反k最近邻查询[J]. 计算机科学与探索, 2016, 10(10): 1365-1375.
[10]	金铮，刘梦赤，胡婕. 信息网数据库管理系统的查询优化[J]. 计算机科学与探索, 2015, 9(3): 300-309.
[11]	王胜，秦小麟，沈尧，李博涵，史文浩. 可持久化CSB+-树索引技术研究[J]. 计算机科学与探索, 2015, 9(2): 182-192.
[12]	段雨晴，李世峰，丁琳琳. 基于平面图覆盖的大规模图可达查询处理[J]. 计算机科学与探索, 2015, 9(11): 1326-1334.
[13]	燕彩蓉，张洋舜，徐光伟. 支持隐私保护的众包实体解析[J]. 计算机科学与探索, 2014, 8(7): 802-811.
[14]	王楠，王斌，李晓华，杨晓春. 支持动态图数据的子图查询方法[J]. 计算机科学与探索, 2014, 8(2): 139-149.
[15]	朱青，李红. 时序图上动态子图查询优化算法[J]. 计算机科学与探索, 2014, 8(11): 1324-1333.

适于垃圾文本流过滤的条件概率集成方法*

Ensemble Approach of Conditional Probability for Spam Text Stream Filtering*

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics