Membersihkan daftar: kapan dua baris benar-benar duplikat?
Sebelum menghapus nama atau kode berulang, tentukan arti setara. Baris yang tampak mirip belum tentu catatan yang sama, terutama untuk pengenal yang membedakan huruf besar dan kecil.
Tentukan kesamaan sebelum menghapus
Memangkas spasi di ujung dapat membantu daftar dari surel, tetapi mengubah data jika spasi itu penting. Mengabaikan kapitalisasi dapat menggabungkan Roof dan roof, yang tidak cocok untuk semua pengenal.
ToolRoof menganggap tiap baris satu item. Alat tidak menyimpulkan identitas orang, menormalkan bentuk Unicode, atau mengganti digit isi daftar. Simpan sumber untuk meninjau penghapusan.
Urutan teks bukan urutan angka
Perbandingan teks bergantung pada bahasa. Bahkan setelah bahasa ditentukan, item2 dan item10 tidak selalu mengikuti urutan angka: alat mengurutkan teks, bukan urutan numerik alami.
Matikan pengurutan jika urutan kedatangan atau prioritas penting. Deduplikasi mempertahankan versi pertama yang lolos aturan, bukan mengetahui versi terbaru atau paling benar.
Referensi: MDN — Locale-sensitive text comparison with Intl.Collator
Jumlah membantu peninjauan, bukan sertifikasi
Bandingkan jumlah baris sebelum dan sesudah lalu periksa item serupa. Penurunan dapat berarti baris kosong atau duplikat dihapus, bukan data salah ditemukan.
Ini bukan pemeriksa kontak, verifikator surel, atau penggabung catatan. Coba contoh tidak sensitif sebelum menerapkan aturan pada salinan kerja penting.
Contoh: 5 baris dengan hasil berbeda
Daftar berisi Roof, roof, Roof yang diapit dua spasi, baris kosong, dan Floor. Memangkas, membuang baris kosong, dan mengabaikan kapitalisasi menyisakan Roof lalu Floor: 2 item dari 5 baris.
Dengan kapitalisasi tetap dibedakan dan pilihan lain sama, tersisa Roof, roof, dan Floor: 3 item. Tidak ada hasil yang selalu benar; bergantung pada apakah kapitalisasi bagian identitas atau hanya tampilan.