客戶資料重複怎麼判斷?訂出比對欄位、合併優先與人工覆核
整理跨系統客戶資料的比對欄位、精確與近似匹配、欄位優先順序、人工裁決紀錄及匿名樣本檢查方法。

客戶資料重複並非找到兩筆相同姓名就合併。跨系統紀錄常有格式差異、共用聯絡方式、舊資料與欄位缺漏;規則若只追求速度,可能把不同客戶綁在一起,也可能覆蓋交易脈絡。可先把工作拆成候選比對、欄位裁決、合併執行與回復紀錄,再約定哪些情況須由人員決定。以下用明確標示的假設情境,說明如何把判斷寫成可檢查的作業規則;實際欄位仍須符合資料目的、權限與系統能力,不必為了比對收集無關個資。

挑選可用比對欄
先列出每個來源實際有的欄位,再問它能否穩定辨認同一個人或組織。比對欄位可分成識別、聯絡與描述三類:來源系統的客戶編號通常只在該系統內有效,不能直接當成跨系統共同編號;經確認且格式一致的會員或帳戶識別碼,才適合當強欄位。電子郵件和電話可作聯絡比對,但要考慮共用信箱、總機、家庭電話及更換聯絡方式等情況。姓名、公司名稱、地址、職稱或產業容易重複或變動,適合縮小候選範圍,不宜單獨決定合併。
選欄前也要確認紀錄代表的是人、公司、門市還是一次交易。同一人可能在不同公司留下資料,同一公司也可能有多位聯絡人;若把公司和聯絡人混成同一主檔,名稱相似就會造成錯誤。先明確定義比對對象,再挑能識別該對象的欄位,例如聯絡人以本人確認的聯絡資料協助辨認,公司則優先看組織識別資料。多來源匯入時也記錄欄位原屬哪個系統,避免把同名欄位當成相同語意。
接著為每欄寫清資料型態、來源、標準化方式和空值處理。例如電話統一國碼與分機格式,去除空格和符號,但不要刪掉國碼;郵件可去除首尾空白並統一大小寫,卻不應自行改寫網域。欄位不一致時,應能回看原始值。公司資料若有可信且適用的登記識別碼,可提高辨識力;若沒有,可用公司名稱搭配網域或地址提出候選。只選業務目的必要且有權處理的資料,不以敏感欄位當捷徑。最後定出強欄位、交叉檢查欄,以及規則無法涵蓋的資料型態,例如沒有郵件的聯絡人,留給人工判斷。
區分精確與近似匹配
精確匹配是先按明訂方式整理資料,再比較欄位值是否完全相同;近似匹配則處理拼寫、格式或描述上的相似。兩者用途不同:精確結果能排出較優先的候選,仍要檢查共享信箱、共用電話、過期識別碼等碰撞;近似結果只提出候選,不能直接合併。姓名相同但郵件和公司不同,只有弱證據;公司名多了「股份有限公司」、空格或已定義的縮寫,可整理後再比,但仍要另一個獨立欄位佐證。
可把判斷順序寫成可重複的條件:先確認資料屬於同一類對象,再查強識別欄是否相同;相同時檢查是否有反證,沒有反證才列高優先候選。強欄缺漏時,才用兩個彼此獨立的聯絡或描述欄提出人工候選;只有姓名或公司名稱相似,則維持低信心。獨立欄位很重要,因為姓名和電子郵件若由同一筆匯入資料一起填錯,不能算兩份獨立證據。把這些條件寫成例子,讓不同覆核者能用同一順序判讀。
不要把相似分數當成通用門檻,名字長短、語言轉寫和分店結構都會影響結果。可按資料類型訂規則:郵件清理後全等;電話分開檢查國碼、主號與分機;公司名只移除事先列明的標點或組織後綴,再比較;地址保留樓層、門牌或分店資訊,避免只剩街道就誤判。每種近似方法都記錄允許的差異、所需的第二欄及否決條件。假設兩筆公司名稱相近,但可信識別碼不同,應先判為不同實體;若同一信箱出現不同姓名與公司,先標記共用聯絡方式。把結果分為高信心候選、人工覆核和明確不合併;證據不完整時保留未決,不為提高合併數而放寬規則。
決定合併欄位優先
比對成立也不代表每個欄位都應採同一筆紀錄。先指定欄位的可信來源與更新責任,再訂各欄的優先順序;例如經本人或負責人確認的聯絡資料,通常比匯入時自動帶入的值可靠,而交易、服務或互動紀錄應保留其原始來源和時間脈絡。不要單看「最後更新」決定勝負,因批次匯入可能讓舊值看起來較新。對空值訂明保留或補齊方式,對兩個不同的非空值則設定覆核或並列保留,避免悄悄覆寫。
逐欄建立裁決表,記下欄位用途、可信來源、確認狀態、更新時間的意義、衝突時的處理方式,以及可否保留多個值。聯絡方式可以把已確認的新值設為主值,把舊值保留為歷史或待確認值;偏好、標籤等欄位可依定義取聯集,但要留下來源,不把互相矛盾的偏好混在一起。地址可能對應不同分店,應先辨明地址所屬實體再處理;負責人也可能因業務分工而不同,不能把兩個名稱任意選一。
假設甲系統有「青禾設計」,乙系統有「青禾工作室」,經人工確認是同一客戶;甲的郵件已確認,乙的電話較新但尚未確認,兩邊各有不同洽談紀錄。規則可保留已確認郵件、把乙的電話列為待確認,並將兩邊洽談紀錄連回同一客戶而保留來源。姓名欄則依確認狀態或指定主檔來源決定顯示值,同時保留其他名稱作搜尋別名。實作前做欄位對照表,逐項標出主值來源、衝突處理、空值策略、是否可追加及是否需人工確認。沒有明確優先證據時,不以系統順序或方便程度臆測;暫不選勝者,保留兩值和未決原因,等資料負責人裁定。
保留人工裁決紀錄
人工覆核不只是按下「合併」或「保留」,還要留下一段能讓其他人重現判斷的紀錄。每個案件記錄候選紀錄識別碼、觸發比對的欄位、比對前原值、標準化後值、支持與反對合併的證據、裁決結果和理由。另記裁決者、時間、所依規則版本、實際執行者,以及執行前後的主檔識別碼。紀錄只保留判斷需要的內容,並遵守既有資料權限;報表或教學樣本可使用遮蔽或合成值。
可採固定的理由分類,例如識別欄一致且無反證、聯絡方式共用、名稱近似但缺少第二證據、識別欄衝突、資料不足待補。分類不是取代敘述,而是協助後續找出規則常在哪裡失準;覆核者仍應寫出本案關鍵證據及判斷理由。若案件從暫緩改為合併,保留原裁決和變更原因,不只留下最後狀態。這能讓管理者看出規則或資料何時改變,也能避免不同人重複調查同一組紀錄。
裁決選項應清楚區分「同一客戶可合併」、「不同客戶不可合併」和「證據不足,暫緩」。如果選暫緩,寫明還缺哪項證據、由誰補充,以及何種新資料會重新開案;別讓案件無限留在模糊狀態。若判定不是重複,也要把這組紀錄列入排除條件,避免同一規則反覆送審。合併完成後保留來源紀錄與關聯映射,讓後續交易或聯絡仍能追溯原系統;另準備反向處理程序,記下恢復所需的欄位值、關聯和操作順序。每次改規則都保留版本與生效範圍,才能分辨某筆決定依據的是當時哪一套條件。人工裁決資料本身也應定期檢查存取權限和保存目的。
防止錯誤合併
防錯要放在合併前後,而不只靠提醒人員小心。先把強欄位碰撞、重要識別碼相衝、共用聯絡方式、多人共用公司帳戶等情況設成停止條件;觸發後只建立待審候選,不改寫主檔。正式執行前顯示會保留哪些欄位、捨棄或改列別名的內容,以及受影響的交易、活動和負責人關聯,讓覆核者能看出影響範圍。一次只處理可說明的一組候選,記錄操作者和批次識別,避免大量規則錯誤擴散。
如果候選不是兩筆而是一串相連紀錄,不要因為甲像乙、乙像丙,就自動推論甲乙丙都相同;逐對檢查強欄和否決條件,避免弱連結一路擴大成錯誤群組。預覽畫面或清單應同時呈現差異欄位與資料來源,尤其標出空值、舊值和人工確認狀態。覆核角色也要與執行權限相稱;高影響或有識別欄衝突的合併,可要求另一人確認,並把原因留在紀錄中。這些規則能讓人看見風險來自哪一欄,而不是只看到一個「相似」結果。
執行時先確認兩筆資料仍符合送審時的狀態;若任一欄已被更新,就重新判斷而不是沿用舊結論。設定重複執行保護,讓同一合併指令不會再次建立另一個主檔或重複搬移關聯。完成後抽查主檔、關聯筆數和來源映射;若結果與預覽不同,停止後續批次並依紀錄復原。另要保留「不可合併」標記及其適用範圍,避免下次掃描又出現同一對候選。若某欄位衝突不能無損解決,先保留兩值並升級覆核,不以覆蓋來讓畫面整齊。由小範圍、可回復的資料開始,確認流程能完整保留歷史,再逐步擴大;沒有備份、執行前比對和回復責任人的方案,不應直接批次套用。
用匿名樣本檢查規則
把規則交給真實資料前,先用匿名化或合成樣本檢查。遮住姓名仍可能從稀有職稱、地址、公司規模或事件組合辨認個人;若樣本要離開原有權限範圍,優先使用合成資料,或移除不必要欄位並檢查能否重新識別。樣本應包含明確重複、明確不同、共享電話或信箱、名稱異體、舊聯絡方式、空值、分店與多語轉寫等情形,也要放入容易讓規則誤判的反例。不要只挑容易配對的資料,否則測到的是理想情境而非實際邊界。
由熟悉資料的人逐筆標示預期結果,再執行候選規則,比對自動結果和人工標記。分類計算可分成:找到且正確的重複、錯把不同對象列為重複、漏掉的重複,以及正確排除的紀錄;逐類檢查錯誤會造成什麼後果,並決定哪些錯誤只能人工處理。除了候選是否正確,也檢查漏掉的配對,因為只看自動提出的名單會看不到召回問題。按資料來源、個人或公司等對象類型分組,找出某一來源格式特別容易誤判的區段。
假設抽查二十個自動候選,其中十八個確認同一客戶、兩個不是,這批候選的精確率是十八除以二十,即百分之九十;這只描述該批假設樣本,不能保證其他資料也相同。若樣本裡原本標記的重複共有二十五組,而規則找到其中二十組,召回率就是二十除以二十五,即百分之八十。修正後用未參與調規則的樣本複核,記下樣本設計、結果、例外與規則版本。下一步可先盤點各系統欄位並挑一小批匿名樣本試判;若要延伸討論如何把資料規則納入工作流程,請至 ZhenheAI 官網 查看目前資訊。