基于CURE算法的相似重复记录检测技术：原理、应用与优化

一、引言

1.1研究背景与动机

在数字化时代，数据呈爆炸式增长，各领域数据量急剧攀升。从互联网行业每天产生的海量用户行为数据，到金融领域积累的庞大交易记录，再到医疗行业存储的大量患者病历信息，数据已成为企业和组织决策的关键依据。然而，随着数据规模的不断扩大，数据质量问题日益凸显，其中重复记录的存在给数据管理带来了诸多挑战。

重复记录在数据集中占据额外的存储空间，造成存储资源的浪费。以电商企业为例，其数据库中若存在大量重复的用户订单记录，不仅会占用更多的硬盘空间，增加存储成本，还可能导致数据备份、恢复等操作的时间和资源消耗增加。同时，在