Research Progress of RFID Data Cleaning Technology

doi:10.3778/j.issn.1673-9418.2207104

Journal of Frontiers of Computer Science and Technology ›› 2022, Vol. 16 ›› Issue (12): 2678-2694.DOI: 10.3778/j.issn.1673-9418.2207104

• Surveys and Frontiers • Previous Articles Next Articles

Research Progress of RFID Data Cleaning Technology

WANG Jian¹^,⁺(), LE Jiajin²

1. School of Computer and Information Engineering, Henan University of Economics and Law, Zhengzhou 450046, China
2. School of Computer Science and Technology, Donghua University, Shanghai 201620, China

Received:2022-06-06 Revised:2022-08-10 Online:2022-12-01 Published:2022-12-16
About author:WANG Jian, born in 1981, Ph.D., M.S. supervisor. His research interests include big data analysis, privacy preserving, intelligent information processing, etc.
LE Jiajin, born in 1951, professor, Ph.D. supervisor. His research interests include data science management, software engineering theory and practice, etc.
Supported by:
National Natural Science Foundation of China(61702161);Science and Technology Research Project of Henan Provincial Science and Technology Department(222102210289);Science and Technology Research Project of Henan Provincial Science and Technology Department(212102210386)

RFID数据清洗技术研究进展

王健¹^,⁺(), 乐嘉锦²

1.河南财经政法大学计算机与信息工程学院，郑州 450046
2.东华大学计算机科学与技术学院，上海 201620

通讯作者: +E-mail: goodjian121@126.com
作者简介:王健（1981—），男，河南安阳人，博士，硕士生导师，主要研究方向为大数据分析、隐私保护、智能信息处理等。
乐嘉锦（1951—），男，上海人，教授，博士生导师，主要研究方向为数据科学管理、软件工程理论与实践等。
基金资助:
国家自然科学基金(61702161);河南省科技厅科技攻关项目(222102210289);河南省科技厅科技攻关项目(212102210386)

Abstract

Abstract:

Radio frequency identification (RFID) technology is an automatic identification method, which relies on the use of radio repeaters called RFID tags to quickly store and retrieve data. Because RFID tags do not need linear contact when communicating with readers, it is possible to collect a large amount of data in a short time. However, the collected data also produce problems such as false negative readings, false positive readings, duplicated readings, out-of-order readings and so on. In this case, how to efficiently clean the large-scale RFID data in short time has become an important research topic in the field of database. This paper mainly summarizes the existing RFID data cleaning technology. Firstly, the relevant definitions and descriptions of RFID system and RFID data cleaning problem are given, and typical datasets and evaluation criteria are listed. Then the existing RFID data cleaning work is compared and summarized in detail from the classification, subcategory, basic idea, advantages, limitations, application scenarios and other aspects of related technologies. At the same time, the relevant application systems are compared and analyzed. Then, for the key problems of the false negative reading, false positive reading, duplicated reading and out-of-order reading, the existing studies are compared and summarized in detail. Finally, this paper proposes next five research directions worthy of paying attention to in the field of RFID data cleaning, such as the construction of RFID original data and benchmark dataset, the cleaning strategy of encryption and privacy protection data, the accuracy of data collection, the timeliness of cleaning results, and scene self-learning.

Key words: radio frequency identification (RFID), data cleaning, false negative reading, false positive reading, duplicated reading, out-of-order reading, system application

摘要：

无线射频识别（RFID）技术是一种自动识别方法，它依赖于称为RFID标签的无线电转发器快速存储和检索数据。由于RFID标签与读写器通信时无需直接接触，这样为短时间内采集大量的数据提供了可能。但是，采集到的数据也产生了诸如漏读、多读、冗余、乱序等问题，如何在短时间内高效地清洗产生的大规模RFID数据成为数据库领域的重要研究课题。对现有的RFID数据清洗技术进行了综述。首先，给出了RFID系统与RFID数据清洗问题的有关定义与描述，列出了典型的数据集与评价标准，从相关技术的分类、子类、基本思想、优势、局限、适用场景等方面详细比较和总结了现有的RFID数据清洗工作，同时对相关应用系统进行比较分析。然后，针对漏读数据清洗、多读数据清洗、冗余数据清洗、乱序数据处理等关键问题，对已有的研究进行了详细的比较和总结。最后，从RFID原始数据与基准数据集构建、加密与隐私保护数据的清洗策略、数据采集准确率、清洗结果的时效性、场景自学习等方面提出了RFID数据清洗领域未来五个值得关注的研究方向。

关键词: 无线射频识别（RFID）, 数据清洗, 漏读数据, 多读数据, 冗余数据, 乱序数据, 系统应用

CLC Number:

TP391

WANG Jian, LE Jiajin. Research Progress of RFID Data Cleaning Technology[J]. Journal of Frontiers of Computer Science and Technology, 2022, 16(12): 2678-2694.

王健, 乐嘉锦. RFID数据清洗技术研究进展[J]. 计算机科学与探索, 2022, 16(12): 2678-2694.

Figures/Tables 11

References 70

[1]	XIE X, LIU X, QI H, et al. Geographical correlation-based data collection for sensor-augmented RFID systems[J]. IEEE Transactions on Mobile Computing, 2020, 19(10): 2344-2357. DOI URL
[2]	LIU Z, LIU X, LI K. Deeper exercise monitoring for smart gym using fused RFID and CV data[C]// Proceedings of the 39th IEEE Conference on Computer Communications, Toronto, Jul 6-9, 2020. Washington: IEEE Computer Society, 2020: 11-19.
[3]	FANG C, WANG F, YAO B, et al. GPSClean: a framework for cleaning and repairing GPS data[J]. ACM Transactions on Intelligent Systems and Technology, 2022, 13(3).
[4]	AHSON S, ILYAS M. RFID handbook: applications, tech-nology, security, and privacy[M]. Boca Raton: CRC Press, 2008.
[5]	MA J, SHENG Q Z, XIE D, et al. Efficiently managing un-certain data in RFID sensor networks[J]. World Wide Web, 2015, 18(4): 819-844. DOI URL
[6]	LIU X, CAO J, YANG Y, et al. Fast RFID sensory data collection: trade-off between computation and communica-tion costs[J]. IEEE/ACM Transactions on Networking, 2019, 27(3): 1179-1191. DOI URL
[7]	DERAKHSHAN R, ORLOWSKA M E, LI X. RFID data management: challenges and opportunities[C]// Proceedings of the 1st IEEE International Conference on RFID, Grapevine, Mar 26-28, 2007. Washington: IEEE Computer Society, 2007: 175-182.
[8]	金澈清, 钱卫宁, 宫学庆. 不确定性数据流管理技术[J]. 中国计算机学会通讯, 2009, 5(4): 37-43.
	JIN C Q, QIAN W N, GONG X Q. Uncertain data stream management technology[J]. Communications of the CCF, 2009, 5(4): 37-43.
[9]	谷峪, 于戈, 张天成. RFID复杂事件处理技术[J]. 计算机科学与探索, 2007, 1(3): 255-267.
	GU Y, YU G, ZHANG T C. RFID complex event processing techniques[J]. Journal of Frontiers of Computer Science and Technology, 2007, 1(3): 255-267.
[10]	许嘉, 于戈, 谷峪, 等. RFID不确定数据管理技术[J]. 计算机科学与探索, 2009, 3(6): 561-576. DOI URL
	XU J, YU G, GU Y, et al. Uncertain data management technologies in RFID[J]. Journal of Frontiers of Computer Science and Technology, 2009, 3(6): 561-576. DOI URL
[11]	CHANDRAMOULI B, GOLDSTEIN J, MAIER D. High-performance dynamic pattern matching over disordered streams[J]. Proceedings of the VLDB Endowment, 2010, 3(1): 220-231. DOI URL
[12]	李战怀, 聂艳明, 陈群, 等. RFID数据管理的研究进展[J]. 中国计算机学会通讯, 2007, 3(2): 32-40.
	LI Z H, NIE Y M, CHEN Q, et al. Research progress of RFID data management[J]. Communications of the CCF, 2007, 3(2): 32-40.
[13]	MUSLEH M, OUZZANI M, TANG N, et al. CoClean: collaborative data cleaning[C]// Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data, Portland, Jun 14-19, 2020. New York: ACM, 2020: 2757-2760.
[14]	SONG S, GAO F, ZHANG A, et al. Stream data cleaning under speed and acceleration constraints[J]. ACM Transac-tions on Database Systems, 2021, 46(3): 10.
[15]	CHAWATHE S S, KRISHNAMURTHY V, RAMACHAN-DRAN S, et al. Managing RFID data[C]// Proceedings of the 30th International Conference on Very Large Data Bases, Toronto, Aug 31-Sep 3, 2004. San Francisco: Morgan Kaufmann, 2004: 1189-1195.
[16]	BAI Y, WANG F, LIU P. Efficiently filtering RFID data streams[C]// Proceedings of the 1st International VLDB Workshop on Clean Databases, Seoul, Sep 11, 2006. New York: ACM, 2006: 1-8.
[17]	JEFFERY S R, GAROFALAKIS M, FRANKLIN M J. Adaptive cleaning for RFID data streams[C]// Proceedings of the 32th International Conference on Very Large Data Bases, Seoul, Sep 12-15, 2006. New York: ACM, 2006: 163-174.
[18]	QAHTAN A A, ELMAGARMID A, FERNANDEZ R C, et al. Fahes: a robust disguised missing values detector[C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, London, Aug 19-23, 2018. New York: ACM, 2018: 2100-2109.
[19]	JEFFERY S R, ALONSO G, FRANKLIN M J, et al. A pipelined framework for online cleaning of sensor data streams[C]// Proceedings of the 22nd International Conference on Data Engineering, Atlanta, Apr 3-8, 2006. Washington: IEEE Computer Society, 2006: 140.
[20]	LIAO G, YU P S, ZHONG Q, et al. Probabilistic cleaning over trajectory events of mobile RFID objects[J]. ACM SIGSPATIAL Special, 2017, 9(1): 3-10.
[21]	MASSAWE L V, KINYUA J, VERMAAK H. Reducing false negative reads in RFID data streams using an adaptive sliding-window approach[J]. Sensors, 2012, 12(4): 4187-4212. DOI PMID
[22]	GONZALEZ H, HAN J, SHEN X. Cost-conscious cleaning of massive RFID data sets[C]// Proceedings of the 23rd International Conference on Data Engineering, Istanbul, Apr 15-20, 2007. Washington: IEEE Computer Society, 2007: 1268-1272.
[23]	BABA A I, LU H, PEDERSEN T B, et al. Handling false negatives in indoor RFID data[C]// Proceedings of the 2014 IEEE 15th International Conference on Mobile Data Mana-gement, Brisbane, Jul 14-18, 2014. Washington: IEEE Com-puter Society, 2014: 117-126.
[24]	SUN J, WANG B, SONG X, et al. Data cleaning for indoor crowdsourced RSSI sequences[C]// LNCS 12859: Proceedings of the 5th International Joint Conference on Web and Big Data, Guangzhou, Aug 23-25, 2021. Cham: Springer, 2021: 267-275.
[25]	XU Y, AGYEMANG B, WU S, et al. Procedure graph model for automatic RFID data processing service manage-ment[J]. IEEE Internet of Things Journal, 2017, 4(3): 713-722. DOI URL
[26]	GU Y, YU G, CHEN Y, et al. Efficient RFID data impu-tation by analyzing the correlations of monitored objects[C]// LNCS 5463: Proceedings of the 14th International Conference on Database Systems for Advanced Applicat-ions, Brisbane, Apr 21-23, 2009. Berlin, Heidelberg: Springer, 2009: 186-200.
[27]	MENG Z, WU Z, JOHN GRAY J. RFID-based object-centric data management framework for smart manufacturing applications[J]. IEEE Internet of Things Journal, 2019, 6(2): 2706-2716. DOI URL
[28]	XIE D, QUAN Z, SHENG Q Z, et al. A framework for processing uncertain RFID data in supply chain manage-ment[C]// LNCS 8180: Proceedings of the 14th Internat-ional Conference on Web Information Systems Engineering, Nanjing, Oct 13-15, 2013. Berlin, Heidelberg: Springer, 2013: 396-409.
[29]	BABA A I, JAEGER M, LU H, et al. Learning-based clean-sing for indoor RFID data[C]// Proceedings of the 2016 ACM SIGMOD International Conference on Management of Data, San Francisco, Jun 26-Jul 1, 2016. New York: ACM, 2016: 925-936.
[30]	BABA A I, LU H, PEDERSEN T B, et al. Cleansing indoor RFID tracking data[J]. ACM SIGSPATIAL Special, 2017, 9(1): 11-18.
[31]	谷峪, 于戈, 李晓静, 等. 基于动态概率路径事件模型的RFID数据填补算法[J]. 软件学报, 2010, 21(3): 438-451.
	GU Y, YU G, LI X J, et al. RFID data interpolation algorithm based on dynamic probabilistic path-event model[J]. Journal of Software, 2010, 21(3): 438-451. DOI URL
[32]	JIANG T, XIAO Y, WANG X, et al. Leveraging commun-ication information among readers for RFID data cleaning[C]// LNCS 6897: Proceedings of the 12th International Conference on Web-Age Information Management, Wuhan, Sep 14-16, 2011. Berlin, Heidelberg: Springer, 2011: 201-213.
[33]	谷峪, 于戈, 胡小龙, 等. 基于监控对象动态聚簇的高效RFID数据清洗模型[J]. 软件学报, 2010, 21(4): 632-643.
	GU Y, YU G, HU X L, et al. Efficient RFID data cleaning model based on dynamic clusters of monitored objects[J]. Journal of Software, 2010, 21(4): 632-643. DOI URL
[34]	FENG J, LI F, XU C, et al. Data-driven analysis for RFID-enabled smart factory: a case study[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(1): 81-88. DOI URL
[35]	XIE L, SHENG B, TAN C C, et al. Efficient tag identifi-cation in mobile RFID systems[C]// Proceedings of the 29th IEEE International Conference on Computer Communi-cations, San Diego, Mar 15-19, 2010. Washington: IEEE Com-puter Society, 2010: 1001-1009.
[36]	ZHAO Z, NG W. A model-based approach for RFID data stream cleansing[C]// Proceedings of the 21st ACM Confe-rence on Information and Knowledge Management, Maui, Oct 29-Nov 2, 2012. New York: ACM, 2012: 862-871.
[37]	FAZZINGA B, FLESCA S, FURFARO F, et al. Offline cleaning of RFID trajectory data[C]// Proceedings of the 26th International Conference on Scientific and Statistical Database Management, Aalborg, Jun 30-Jul 2, 2014. New York: ACM, 2014.
[38]	ZHONG R Y, PUTNIK G D, NEWMAN S T. A heterog-eneous data analytics framework for RFID-enabled factories[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2021, 51(9): 5567-5576. DOI URL
[39]	王妍, 宋宝燕, 付菡, 等. 引入卡尔曼滤波的RFID数据清洗方法[J]. 小型微型计算机系统, 2011, 32(9): 1794-1799.
	WANG Y, SONG B Y, FU H, et al. Cleaning method of RFID data stream based on Kalman filter[J]. Journal of Chinese Computer Systems, 2011, 32(9): 1794-1799.
[40]	MAHDIN H, ABAWAJY J. An approach for removing redundant data from RFID data streams[J]. Sensors, 2011, 11(10): 9863-9877. DOI PMID
[41]	LIAO G, LI J, CHEN L, et al. KLEAP: an efficient cleaning method to remove cross-reads in RFID streams[C]// Procee-dings of the 20th ACM Conference on Information and Knowledge Management, Glasgow, Oct 24-28, 2011. New York: ACM, 2011: 2209-2212.
[42]	潘巍, 李战怀, 陈群, 等. RFID交叉读仲裁方法研究[J]. 计算机学报, 2012, 35(8): 1607-1619.
	PAN W, LI Z H, CHEN Q, et al. Solving cross read problem in RFID dense reader environments[J]. Chinese Journal of Computers, 2012, 35(8): 1607-1619. DOI URL
[43]	SUN J, WANG B, YANG X. Practical approximate indoor nearest neighbour locating with crowdsourced RSSIs[J]. World Wide Web, 2021, 24(3): 747-779. DOI URL
[44]	WANG X, JI Y, ZHAO B. An approximate duplicate-elimination in RFID data streams based on d-left time Bloom filter[C]// LNCS 8709: Proceedings of the 16th Asia Pacific Web Conference on Web Technologies and Applications, Changsha, Sep 5-7, 2014. Cham: Springer, 2014: 413-424.
[45]	LEE C H, CHUNG C W. An approximate duplicate elimina-tion in RFID data streams[J]. Data and Knowledge Engine-ering, 2011, 70(12): 1070-1087.
[46]	BABA A I, LU H, XIE X, et al. Spatiotemporal data cleansing for indoor RFID tracking data[C]// Proceedings of the 2013 IEEE 14th International Conference on Mobile Data Management, Milan, Jun 3-6, 2013. Washington: IEEE Computer Society, 2013: 187-196.
[47]	MUTSCHLER C, PHILIPPSEN M. Distributed low-latency out-of-order event processing for high data rate sensor streams[C]// Proceedings of the 27th IEEE International Symposium on Parallel and Distributed Processing, Cambridge, May 20-24, 2013. Washington: IEEE Computer Society, 2013: 1133-1144.
[48]	LI M, LIU M, DING L, et al. Event stream processing with out-of-order data arrival[C]// Proceedings of the 27th Inter-national Conference on Distributed Computing Systems Work-shops, Toronto, Jun 25-29, 2007. Washington: IEEE Computer Society, 2007: 67.
[49]	JI Y, SUN J, NICA A, et al. Quality-driven disorder handl-ing for m-way sliding window stream joins[C]// Proceedings of the 32nd International Conference on Data Engineering, Helsinki, May 16-20, 2016. Washington: IEEE Computer Soci-ety, 2016: 493-504.
[50]	LIU M, LI M, DENIS GOLOVNYA D, et al. Sequence pattern query processing over out-of-order event streams[C]// Proceedings of the 25th International Conference on Data Engineering, Shanghai, Mar 29-Apr 2, 2009. Wash-ington: IEEE Computer Society, 2009: 784-795.
[51]	WEI M, LIU M, LI M, et al. Supporting a spectrum of out-of-order event processing technologies: from aggressive to conservative methodologies[C]// Proceedings of the 2009 ACM SIGMOD International Conference on Management of Data, Providence, Jun 29-Jul 2, 2009. New York: ACM, 2009: 1031-1034.
[52]	JI Y, ZHOU H, JERZAK Z, et al. Quality-driven conti-nuous query execution over out-of-order data streams[C]// Proceedings of the 2015 ACM SIGMOD International Con-ference on Management of Data, Melbourne, May 31-Jun 4, 2015. New York: ACM, 2015: 889-894.
[53]	ZHOU C, MENG X. IO3: interval-based out-of-order event processing in pervasive computing[C]// LNCS 5982:Proce-edings of the 15th International Conference on Database Systems for Advanced Applications,Tsukuba, Apr 1-4, 2010. Berlin, Heidelberg: Springer, 2010: 261-268.
[54]	谷峪, 于戈, 吕雁飞, 等. 针对泊松流的截止期敏感的复杂事件处理资源分配模型[J]. 计算机学报, 2012, 35(5): 937-950.
	GU Y, YU G, LV Y F, et al. Deadline-sensitive complex event processing resource allocation models over poisson streams[J]. Chinese Journal of Computers, 2012, 35(5): 937-950. DOI URL
[55]	ERTEK G, CHI X, ZHANG A N. A framework for mining RFID data from schedule-based systems[J]. IEEE Transac-tions on Systems, Man, and Cybernetics: Systems, 2017, 47(11): 2967-2984.
[56]	GYLLSTROM D, WU E, CHAE H J, et al. SASE: complex event processing over streams[C]// Proceedings of the 3rd Biennial Conference on Innovative Data Systems Research, Asilomar, Jan 7-10, 2007: 407-411.
[57]	TRAN T, SUTTON C, COCCI R, et al. Probabilistic infer-ence over RFID streams in mobile environments[C]// Proce-edings of the 25th International Conference on Data Engineer-ing, Shanghai, Mar 29-Apr 2, 2009. Washington: IEEE Computer Society, 2009: 1096-1107.
[58]	KHOUSSAINOVA N, BALAZINSKA M, SUCIU D. Towards correcting input data errors probabilistically using integrity constraints[C]// Proceedings of the 5th ACM Inter-national Workshop on Data Engineering for Wireless and Mobile Access, Chicago, Jun 25, 2006. New York: ACM, 2006: 43-50.
[59]	KHOUSSAINOVA N, BALAZINSKA M, SUCIU D. Prob-abilistic event extraction from RFID data[C]// Proceedings of the 24th International Conference on Data Engineering, Cancun, Apr 7-12, 2008. Washington: IEEE Computer Society, 2008: 1480-1482.
[60]	KHOUSSAINOVA N, BALAZINSKA M, SUCIU D. PEEX: extracting probabilistic events from RFID data[R]. Seattle: University of Washington, 2008: 1-8.
[61]	RÉ C, LETCHNER J, BALAZINSKA M, et al. Event queries on correlated probabilistic streams[C]// Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data, Vancouver, Jun 10-12, 2008. New York: ACM, 2008: 715-728.
[62]	FAZZINGA B, FLESCA S, FURFARO F, et al. Interpreting RFID tracking data for simultaneously moving objects: an offline sampling-based approach[J]. Expert Systems with App-lications, 2020, 152: 113368.
[63]	WELBOURNE E, KHOUSSAINOVA N, LETCHNER J, et al. Cascadia:a system for specifying, detecting, and managing RFID events[C]// Proceedings of the 6th International Conf-erence on Mobile Systems, Applications, and Services, Breckenridge, Jun 17-20, 2008. New York: ACM, 2008: 281-294.
[64]	赵会群, 孙晶, 杨岩坤, 等. 复杂事件模式检测与CEP试数据生成算法研究[J]. 计算机学报, 2017, 40(1): 256-272.
	ZHAO H Q, SUN J, YANG Y K, et al. Study on algorithm of checking event pattern and generating test data for complex event processing[J]. Chinese Journal of Computers, 2017, 40(1): 256-272.
[65]	周世杰, 张文清, 罗嘉庆. 射频识别(RFID)隐私保护技术综述[J]. 软件学报, 2015, 26(4): 960-976.
	ZHOU S J, ZHANG W Q, LUO J Q. Survey of privacy of radio frequency identification technology[J]. Journal of Software, 2015, 26(4): 960-976.
[66]	FENG Y, HUANG W, WANG S, et al. Detection of RFID cloning attacks: a spatiotemporal trajectory data stream-based practical approach[J]. Computer Networks, 2021, 189: 107922. DOI URL
[67]	CHERIF A, BELKADI M, SAUVERON D. A lightweight and secure data collection serverless protocol demonstrated in an active RFIDs scenario[J]. ACM Transactions on Embed-ded Computing Systems, 2019, 18(3).
[68]	谢磊, 殷亚凤, 陈曦, 等. RFID数据管理: 算法、协议与性能评测[J]. 计算机学报, 2013, 36(3): 457-470.
	XIE L, YIN Y F, CHEN X, et al. RFID data management: algorithms, protocols and performance evaluation[J]. Chinese Journal of Computers, 2013, 36(3): 457-470. DOI URL
[69]	XIE L, YIN Y, VASILAKOS A V, et al. Managing RFID data: challenges, opportunities and solutions[J]. IEEE Com-munications Surveys and Tutorials, 2014, 16(3): 1294-1311.
[70]	LIAO G, YU P S, ZHONG Q, et al. Trajectory event cleaning for mobile RFID objects[C]// Proceedings of the 2014 IEEE 15th International Conference on Mobile Data Management, Brisbane, Jul 14-18, 2014. Washington: IEEE Computer Society, 2014: 137-145.

数据集名称	年份	来源	描述	文件数量	网址
hope/amd	2008	与会者在会场的运动轨迹	数据集是从2008年7月18日至20日举行的第七届HOPE（地球上的黑客）会议上收集的RFID跟踪数据。与会者佩戴了RFID徽章，通过该徽章可以在整个会议空间内唯一地识别和跟踪他们。贡献者是Aestetix和Christopher Petro。2008年8月7日上传于CRAWDAD （community resource for archiving wireless data at Dartmouth）网站	13个文件，共25 MB	https://crawdad.org/hope/amd/20080807
hope/nh_amd	2010	与会者在会场的运动轨迹	数据集是从2010年7月18日至20日举行的HOPE（地球上的黑客）会议上收集的RFID跟踪数据。同样，与会者佩戴了RFID徽章，通过该徽章可以在整个会议空间内唯一地识别和跟踪他们。贡献者是Travis Goodspeed和Nathaniel Filardo。2010年7月18日上传于CRAWDAD网站	33个文件，共3.1 GB	https://crawdad.org/hope/nh_amd/20100718

数据集名称	年份	来源	描述	文件数量	网址
hope/amd	2008	与会者在会场的运动轨迹	数据集是从2008年7月18日至20日举行的第七届HOPE（地球上的黑客）会议上收集的RFID跟踪数据。与会者佩戴了RFID徽章，通过该徽章可以在整个会议空间内唯一地识别和跟踪他们。贡献者是Aestetix和Christopher Petro。2008年8月7日上传于CRAWDAD （community resource for archiving wireless data at Dartmouth）网站	13个文件，共25 MB	https://crawdad.org/hope/amd/20080807
hope/nh_amd	2010	与会者在会场的运动轨迹	数据集是从2010年7月18日至20日举行的HOPE（地球上的黑客）会议上收集的RFID跟踪数据。同样，与会者佩戴了RFID徽章，通过该徽章可以在整个会议空间内唯一地识别和跟踪他们。贡献者是Travis Goodspeed和Nathaniel Filardo。2010年7月18日上传于CRAWDAD网站	33个文件，共3.1 GB	https://crawdad.org/hope/nh_amd/20100718

分类	子类	代表性工作	优势	局限	适用场景
基于规则的方法	滑动窗口，融入阈值	ESP^[19]	根据读写器所获得的数据在时间和空间上的相关性，来填补漏读数据，无需其他信息	1. 时间粒度（即滑动窗口）大小不好确定 2. 对于位置经常移动的物件组定义粗的空间粒度很困难 3. 流水线处理的5个阶段不能交换	物品不经常进出读写器范围
	滑动窗口，融入统计模型	SMURF^[17]	1.自动调整窗口的大小，填补漏读数据 2. 通过统计学抽样方法来解决窗口大小定义的问题	1. 不容易检测到标签进出读写器的范围 2. 对于多个读写器环境失效 3. 填补数据的结果仍是概率意义上的，不能保证完全正确 4. 当监控对象在某逻辑区域内的读数完全丢失时，该方法的清洗效果较差	物品不经常进出读写器范围
	滑动窗口，融入统计模型	WSTD^[21]	更高效地检测到RFID标签位置的变动	1. 嘈杂环境下效果不佳 2. 由于采用的窗口更小，引入了更多的漏读数据（认为标签不在读写器范围内）	动态RFID标签
	滑动窗口，融入时空信息	Xie 等人^[28]	1. 自适应调整窗口大小 2. 融入时空信息 3. 考虑了群体和单个物体的运动	规则设置不合理、不完整等都会影响效果	动态RFID标签
基于概率的方法	融入图模型	Baba 等人^[23]	1. 利用时空约束信息 2. 方法利用领域较广	局限于室内物品产生的数据	室内物品跟踪
	融入清洗代价因素	Gonzalez 等人^[22]	1. 考虑了观测值和估计值 2. 加入了清洗代价的因素	1. 估计值与观测值的关系是由历史数据集得到的，不能动态更新 2. 动态标签的清洗结果不好	动态RFID标签
	融入贝叶斯模型	Zhao 等人^[36]	1. 适用于漏读率比较高的移动环境 2. 利用了物品之间的时空关联	概率计算来自于历史数据	动态读写器
	融入路径	Xie 等人^[35]	考虑概率传播	事先设定好路径，超出该路径范围，处理效果不确定	动态RFID标签
	融入学习	IR-MHMM^[29-30]	不需要关于室内空间和RFID阅读器部署的时空特性的先验知识，只需要少量RFID部署信息	1. 局限于室内物品产生的数据 2. 模型中马尔可夫假设施加的限制	室内物品跟踪
	融入逻辑区域	谷峪等人^[31]	对漏读数据进行了填补，并考虑了实时性、准确性和维护代价等因素	1. 未考虑包含相同的区域事件问题 2. 未考虑依次经过多个逻辑区域时，每个逻辑停留时间的相关性	动态RFID标签
	融入树结构	Jiang 等人^[32]	利用了未来有可能读写器附带的通讯功能	路径分支多的情况下，通讯量比较大	动态RFID标签
	融入卡尔曼滤波	KAL-RFID^[39]	解决了单个读写器的漏读、多读数据的问题，以及动态标签跃迁产生的延迟问题	存在少量漏读数据	动态RFID标签
基于相关性的方法	融入时空信息	Gu 等人^[26]	考虑了监控对象轨迹的相关性	对于无轨迹关联的单个物品失效	具有时空关联的物品
基于相关性的方法	融入聚类	谷峪等人^[33]	1. 考虑了关联度和动态聚簇 2. 适用于更大数据量和漏读率	当频繁分裂、重组、聚簇时，性能下降	逻辑关联与物理关联物品
基于路径的方法	融入图模型	Mahdin等人^[40]	利用可达性进行数据过滤	不能响应快速应用需求，只能对历史数据进行操作	动态RFID标签

分类	子类	代表性工作	优势	局限	适用场景
基于规则的方法	滑动窗口，融入阈值	ESP^[19]	根据读写器所获得的数据在时间和空间上的相关性，来填补漏读数据，无需其他信息	1. 时间粒度（即滑动窗口）大小不好确定 2. 对于位置经常移动的物件组定义粗的空间粒度很困难 3. 流水线处理的5个阶段不能交换	物品不经常进出读写器范围
	滑动窗口，融入统计模型	SMURF^[17]	1.自动调整窗口的大小，填补漏读数据 2. 通过统计学抽样方法来解决窗口大小定义的问题	1. 不容易检测到标签进出读写器的范围 2. 对于多个读写器环境失效 3. 填补数据的结果仍是概率意义上的，不能保证完全正确 4. 当监控对象在某逻辑区域内的读数完全丢失时，该方法的清洗效果较差	物品不经常进出读写器范围
	滑动窗口，融入统计模型	WSTD^[21]	更高效地检测到RFID标签位置的变动	1. 嘈杂环境下效果不佳 2. 由于采用的窗口更小，引入了更多的漏读数据（认为标签不在读写器范围内）	动态RFID标签
	滑动窗口，融入时空信息	Xie 等人^[28]	1. 自适应调整窗口大小 2. 融入时空信息 3. 考虑了群体和单个物体的运动	规则设置不合理、不完整等都会影响效果	动态RFID标签
基于概率的方法	融入图模型	Baba 等人^[23]	1. 利用时空约束信息 2. 方法利用领域较广	局限于室内物品产生的数据	室内物品跟踪
	融入清洗代价因素	Gonzalez 等人^[22]	1. 考虑了观测值和估计值 2. 加入了清洗代价的因素	1. 估计值与观测值的关系是由历史数据集得到的，不能动态更新 2. 动态标签的清洗结果不好	动态RFID标签
	融入贝叶斯模型	Zhao 等人^[36]	1. 适用于漏读率比较高的移动环境 2. 利用了物品之间的时空关联	概率计算来自于历史数据	动态读写器
	融入路径	Xie 等人^[35]	考虑概率传播	事先设定好路径，超出该路径范围，处理效果不确定	动态RFID标签
	融入学习	IR-MHMM^[29-30]	不需要关于室内空间和RFID阅读器部署的时空特性的先验知识，只需要少量RFID部署信息	1. 局限于室内物品产生的数据 2. 模型中马尔可夫假设施加的限制	室内物品跟踪
	融入逻辑区域	谷峪等人^[31]	对漏读数据进行了填补，并考虑了实时性、准确性和维护代价等因素	1. 未考虑包含相同的区域事件问题 2. 未考虑依次经过多个逻辑区域时，每个逻辑停留时间的相关性	动态RFID标签
	融入树结构	Jiang 等人^[32]	利用了未来有可能读写器附带的通讯功能	路径分支多的情况下，通讯量比较大	动态RFID标签
	融入卡尔曼滤波	KAL-RFID^[39]	解决了单个读写器的漏读、多读数据的问题，以及动态标签跃迁产生的延迟问题	存在少量漏读数据	动态RFID标签
基于相关性的方法	融入时空信息	Gu 等人^[26]	考虑了监控对象轨迹的相关性	对于无轨迹关联的单个物品失效	具有时空关联的物品
基于相关性的方法	融入聚类	谷峪等人^[33]	1. 考虑了关联度和动态聚簇 2. 适用于更大数据量和漏读率	当频繁分裂、重组、聚簇时，性能下降	逻辑关联与物理关联物品
基于路径的方法	融入图模型	Mahdin等人^[40]	利用可达性进行数据过滤	不能响应快速应用需求，只能对历史数据进行操作	动态RFID标签

分类	子类	代表性工作	优势	局限	适用场景
基于概率的方法	滑动窗口、融入内核密度	KLEAP^[41]	检测标签的确切位置	窗口大小是固定的	动态RFID标签
基于规则的方法	滑动窗口	SMURF^[19]	可以通过调整窗口大小来减少多读数据	不能消除物理因素产生的多读数据	物品不经常进出读写器范围
基于规则的方法	融入阈值	Bai等人^[16]	可以有效保持输出数据顺序与原始数据的一致性	1. 基于交叉读数通常比正常真实读数的发生率低的假设 2. 阈值很难设定	动态RFID标签
基于相关性的方法	滑动窗口、融入信号强弱	潘巍等人^[42]	1. 融入信号强弱 2. 辅以参考标签 3. 使用最小相对位置相似度推测标签位置	1. 窗口大小是固定的 2. 不适用于非规则布局的应用场景	规则布局的应用场景

Research Progress of RFID Data Cleaning Technology

RFID数据清洗技术研究进展

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 11

References 70

Related Articles 11

Recommended Articles

Metrics

分类	子类	代表性工作	优势	局限	适用场景
布鲁姆滤波器方法	融入时间	DLTBF^[44]	该方法占用内存少	1. 需要在插入前计算最小装载桶 2. 使用了许多哈希函数	多个读写器
	融入时间计数器	TBF/TIBF^[45]	用少量内存一次性消除重复项	内存效率不高，因为需要多个时间计数器来存储读取时间	多个读写器
	融入哈希计数	CBF^[40]	1. 将布隆过滤器的数量减少至1个 2. 执行时间更短	1. 过滤器仅对一个读写器过滤冗余读数 2. 还使用了许多哈希函数	标签运动更规律
基于相关性的方法	融入图模型和时空约束	Baba等人^[46]	1. 消除时间冗余和减少空间歧义 2. 融入图模型和时空约束	1. 时间粒度不易设定 2. 空间粒度不易设定	室内跟踪数据

分类	子类	代表性工作	优势	局限	适用场景
以低延迟为目标的方法	融入滑动窗口	K-slack^[47]	1. 无需先验知识 2. 不使用本地或全局时钟	窗口大小固定不变，不能适应网络延迟的变化	由网络延迟造成的乱序
以低延迟为目标的方法	融入新的数据结构	Li等人^[48]	1. 乱序事件流上的查询 2. 最小化CPU成本和内存消耗	1. 存在部分误配/错位事件 2. 存在一定的延迟	网络延迟、机器故障造成的乱序
以准确性为目标的方法	基于缓存的方法	Ji等人^[49]	1. 首先保证处理结果的质量 2. 允许用户指定结果质量要求 3. 减少结果延迟	1. 为了保证结果的质量，牺牲了一定的结果延迟 2. 缓存容量的减少增加了延迟时间	多路乱序数据流
以准确性为目标的方法	激进和保守策略共存	Liu等人^[50] Wei等人^[51]	1. 提出两种处理策略，一种比较激进，一种比较保守 2. 二者相互补充	现阶段还不能自动地在两个策略之间切换	乱序数量时高时低的情况
兼顾低延迟和准确性的方法	基于缓存的方法	AQ-K-slack^[52]	1. 同时考虑准确性和低延迟 2. 动态调整缓冲区大小 3. 允许用户制定结果阈值	兼顾低延迟和准确性后，得到的结果既不是最准确的，也不是延迟最短的	连续查询
	融入事件持续时间	Zhou等人^[53]	引入时间间隔	未能考虑缓冲区大小、乱序比例、乱序事件的步长等因素	具有持续时间的乱序事件
	融入泊松分布	Gu等人^[54]	1. 在确定的时间延迟需求下输出更多的结果 2. 引入截止期敏感和基于处理乱序反馈的分时调度策略	1. 数据流并不一定符合泊松分布 2. 应用的数据类型较窄	符合泊松流的乱序数据

系统	功能描述	贡献	局限	适用场景
SASE^[56]	一个复杂的事件处理系统，可以在实时流上执行这样的数据信息转换。还是一个综合系统，用于收集、清洗和处理RFID数据，以交付相关信息，及时提供信息，并存储必要的数据以备查询	实现了数据的采集和清洗	1. 忽略了时间限制 2. SASE假设数据是顺序到达的，而实际中会出现乱序现象	数据顺序到达
Tran 等人^[57]	RFID概率推演系统	将缺失的、带有噪音的原始数据流清洗成带有较精确位置的事件流	不适用于读写器固定、RFID标签移动的情形	RFID标签相对固定，读写器随人移动
StreamClean^[58]	使用用户自定义的全局完整性约束自动纠正输入数据错误	1. 融入用户自定义完整性约束 2. 清洗RFID数据中的错误	清洗结果还是概率结果	移动环境
PEEX^[59-60]	一个复杂事件处理系统。一个使应用程序能够从RFID数据中定义和提取有意义的概率高层事件的系统	1. 融入概率 2. 处理数据中的噪声与错误 3. 不需要用户指定如何清洗数据	该系统给出的是近似结果	适用于底层数据，而非高层数据
Lahar^[61]	一个用于概率事件流的事件处理系统	从不精确的传感器数据中提取概率事件	1. 该系统只能简单地回答查询 2. 数据要求是有序的	数据有序到达，其中存在错误和不精确数据
Cascadia^[63]	Cascadia是一个为基于RFID的普适计算应用程序提供基础设施的系统，用于从原始RFID数据中指定、提取和管理有意义的高级事件	1. 构建了RFID概率数据模型并实现了概率事件抽取算法 2. 支持面向RFID移动对象跟踪等复杂应用	给出的结果同样是概率性的	RFID读写器固定，标签动态或者静态

[1]	FEI Ke, QIN Xiaolin, CHI Heyu, LI Tang. GCN Deep Search Method for Optimal Path of Dynamic Road Network [J]. Journal of Frontiers of Computer Science and Technology, 2023, 17(1): 116-126.
[2]	HE Jindong, BU Yanling, SHI Congcong, XIE Lei. Frame Size Optimization for Dynamic Framed Slotted ALOHA in RFID Systems [J]. Journal of Frontiers of Computer Science and Technology, 2021, 15(7): 1227-1236.
[3]	NAN Jingchang, FAN Shuang, LI Lei, GAO Mingming. New Lock-Bit Hybrid Query Tree Radio Frequency Identification Anti-Collision Algorithm [J]. Journal of Frontiers of Computer Science and Technology, 2019, 13(5): 765-774.
[4]	SUN Ziwen, LI Song. Lightweight Authentication Protocol for Location Privacy Using PUF in Mobile RFID System [J]. Journal of Frontiers of Computer Science and Technology, 2019, 13(3): 418-428.
[5]	WANG Ping, ZHOU Zhiping, LI Jing. Improved Server-less RFID Security Authentication Protocol [J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(7): 1117-1125.
[6]	TANG Zhijun, YANG Yi, WU Xiaofeng, XI Zaifang, HU Shigang. Novel Back-off Binary Tree Anti-collision Algorithm for Ultra High Frequency RFID [J]. Journal of Frontiers of Computer Science and Technology, 2016, 10(5): 612-622.
[7]	YU Haiyang, LIN Chen, CHEN Ke, JIANG Yi, ZOU Quan. Pass-Join-K: Similarity Join Method Based on Multi-Match Partition [J]. Journal of Frontiers of Computer Science and Technology, 2013, 7(10): 924-932.
[8]	ZHU Qiankun, WANG Hongzhi, GAO Hong . Real-Time Multiple Complex Event Queries Processing over RFID Streams [J]. Journal of Frontiers of Computer Science and Technology, 2011, 5(9): 845-856.
[9]	ZHU Qiankun, WANG Hongzhi, GAO Hong. Real-Time Multiple Complex Event Queries Processing over RFID Streams [J]. Journal of Frontiers of Computer Science and Technology, 2011, 5(09): 845-856.
[10]	LIU Hailong⁺; LI Zhanhuai; CHEN Qun . Online Complex Event Detecting in RFID Supply Chain Systems* [J]. Journal of Frontiers of Computer Science and Technology, 2010, 4(8): 731-741.
[11]	GU Yu,YU Ge+,ZHANG Tiancheng. RFID complex event processing techniques [J]. Journal of Frontiers of Computer Science and Technology, 2007, 1(3): 255-267.