无线城市社团发现的研究——在Spark上利用改进关联规则实现社团发现的算法

doi:10.3778/j.issn.1673-9418.1806067

计算机科学与探索 ›› 2019, Vol. 13 ›› Issue (9): 1582-1592.DOI: 10.3778/j.issn.1673-9418.1806067

无线城市社团发现的研究——在Spark上利用改进关联规则实现社团发现的算法

王永贵，徐山珊，肖成龙

辽宁工程技术大学软件学院，辽宁葫芦岛 125105

出版日期:2019-09-01 发布日期:2019-09-06

Research on Wireless City Community Detection: Using Improved Association Rules to Achieve Community Detection Algorithm on Spark

WANG Yonggui, XU Shanshan, XIAO Chenglong

College of Software, Liaoning Technical University, Huludao, Liaoning 125105, China

Online:2019-09-01 Published:2019-09-06

摘要/Abstract

摘要： 社团发现算法存在生成结果冗余及时间复杂度高等问题，虽然关联规则是解决社团发现问题的有效方法，但面临大量迭代计算的瓶颈。针对上述问题进行了研究，提出了一种改进社团发现的SIACD算法。该算法引入MAC地址和布尔矩阵的概念对数据进行预处理，利用基于项数的布尔向量交运算改进Apriori算法，再基于Spark实现算法并行化计算，通过关联规则的方式挖掘无线社团数据。实验结果表明，SIACD算法解决了生成结果冗余、复杂度高、迭代计算等问题，提升了社团发现的挖掘速度，提高了对大数据的处理能力。

关键词: 社团发现, 关联规则, 介质访问控制（MAC）地址, 布尔矩阵, Spark

Abstract: Community discovery algorithm has the problems such as redundant generated results and high time complexity. Association rules are effective methods to solve community discovery problems, but confronted the bottleneck of mass iterative calculation. In order to study the above problems, this paper proposes the SIACD (Spark-based use of improved Apriori to achieve community detection) algorithm for improving community discovery. The algorithm introduces MAC (media access control) address and Boolean matrix concept to preprocess the data, uses the item number-based Boolean vector intersection operation to improve Apriori algorithm, then realizes parallel calculation based on Spark, and mines the wireless community data by association rules. Experimental results show that the SIACD algorithm solves redundant generated results, high complexity, and iterative calculations problems, and improves community discovery??s mining speed and the ability to handle big data.

Key words: community discovery, association rules, media access control (MAC) address, Boolean matrix, Spark

王永贵，徐山珊，肖成龙. 无线城市社团发现的研究——在Spark上利用改进关联规则实现社团发现的算法[J]. 计算机科学与探索, 2019, 13(9): 1582-1592.

WANG Yonggui, XU Shanshan, XIAO Chenglong. Research on Wireless City Community Detection: Using Improved Association Rules to Achieve Community Detection Algorithm on Spark[J]. Journal of Frontiers of Computer Science and Technology, 2019, 13(9): 1582-1592.

[1]	钟倩漪，钱谦，伏云发，冯勇. 粒子群优化算法在关联规则挖掘中的研究综述[J]. 计算机科学与探索, 2021, 15(5): 777-793.
[2]	郭羽含，胡芳霞. 考虑匹配可行性的长期合乘问题建模与求解[J]. 计算机科学与探索, 2019, 13(11): 1894-1910.
[3]	邱慧，邹兆年. Spark GraphX上的SPARQL查询处理算法[J]. 计算机科学与探索, 2018, 12(9): 1361-1371.
[4]	李勇，滕飞，黄齐川，李天瑞. 基于Spark的时间序列并行分解模型[J]. 计算机科学与探索, 2018, 12(7): 1055-1063.
[5]	甘瀛，王鑫，冯志勇，杨雅君. 基于Pregel模型的分布式图着色算法[J]. 计算机科学与探索, 2018, 12(6): 886-897.
[6]	张云飞，李劲，岳昆，罗之皓，刘惟一. 关联影响力传播最大化方法[J]. 计算机科学与探索, 2018, 12(12): 1891-1902.
[7]	时生乐，赵宇海，李源，印莹，王国仁. 一种有效的基于GraphX的分布式结构化图聚类算法[J]. 计算机科学与探索, 2018, 12(10): 1571-1582.
[8]	邓诗卓，信俊昌，聂铁铮，王国仁. 双缀过滤的大数据相似性连接处理算法[J]. 计算机科学与探索, 2017, 11(8): 1235-1245.
[9]	韩超，段磊，邓松，王慧锋，唐常杰. 基于Spark的序列数据质量评价[J]. 计算机科学与探索, 2017, 11(6): 897-907.
[10]	王雯，赵衎衎，李翠平，陈红，孙辉. Spark平台下的短文本特征扩展与分类研究[J]. 计算机科学与探索, 2017, 11(5): 732-741.
[11]	王泽奥，吴斌，吴心宇，张子兴. 大规模多维网络数据分析框架的研究与实现[J]. 计算机科学与探索, 2017, 11(12): 1941-1952.
[12]	方峰，蔡志平，肇启佳，林加润，朱明. 使用Spark Streaming的自适应实时DDoS检测和防御技术[J]. 计算机科学与探索, 2016, 10(5): 601-611.
[13]	周发超，王志坚，叶枫，邓玲玲. 关联规则挖掘算法Apriori的研究改进[J]. 计算机科学与探索, 2015, 9(9): 1075-1083.
[14]	刘志强，顾荣，袁春风，黄宜华. 基于SparkR的分类算法并行化研究[J]. 计算机科学与探索, 2015, 9(11): 1281-1294.
[15]	曾春秋+,唐常杰,李川,段磊. MPSQAR：无损语义的量化关联规则挖掘算法[J]. 计算机科学与探索, 2009, 3(4): 392-404.

无线城市社团发现的研究——在Spark上利用改进关联规则实现社团发现的算法

Research on Wireless City Community Detection: Using Improved Association Rules to Achieve Community Detection Algorithm on Spark

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics