Bersihkan teks tanpa menghapus maknanya
Daftar hasil salinan dapat terlihat berantakan karena spasi tambahan atau baris berulang. Pembersihan yang baik menyasar masalahnya, bukan menganggap semua spasi dan pengulangan salah.
Cocokkan tindakan dengan masalah
Merangkum spasi berulang bisa membantu prosa, tetapi merusak tabel teks atau indentasi kode. Menghapus baris kosong juga menghapus pemisah paragraf; pilih jika memang perlu daftar tanpa jeda.
Memangkas ujung baris berbeda dengan merapatkan spasi di dalamnya. Mulai dari perubahan paling kecil yang diperlukan dan bandingkan contoh dengan sumber.
Tentukan arti duplikat
Dua entri sama dapat mewakili dua pemesanan atau transaksi nyata. Menghapus salah satunya sesuai untuk daftar topik, tetapi tidak otomatis benar untuk data hadir atau penjualan.
Alat membandingkan seluruh baris seperti tertulis dan menyimpan kemunculan tepat pertama. Spasi di akhir atau perbedaan kapital membuat baris berbeda.
Tampilan mirip bukan kesamaan persis
Unicode dapat mewakili huruf dengan urutan setara, misalnya karakter beraksen yang tersusun atau huruf diikuti tanda gabung. Kemiripan tampilan tidak membuktikan karakter penyusunnya identik.
Pembersih baris ini tidak menormalkan representasi tersebut atau membetulkan tata bahasa. Untuk menggabungkan catatan, putuskan kriteria kecocokan dahulu; variasi tersisa belum tentu kesalahan pembersih.
Referensi: Unicode Standard Annex #15 — Canonical equivalence and normalization
Contoh: urutan mengubah jumlah baris tersisa
Mulai dari 4 baris: “Lokakarya”, “Lokakarya ” dengan spasi akhir, “Pelatihan”, dan “Lokakarya”. Menghapus duplikat persis menyisakan 3 baris karena entri berspasi berbeda.
Pangkas ujung dahulu, lalu hapus duplikat hasilnya: tinggal “Lokakarya” dan “Pelatihan”. Cocok untuk topik unik; jika itu pemesanan berbeda, penghapusan mengubah catatan, bukan sekadar tampilan.