Penerapan Simhash dan Hamming distance dalam Deteksi kemiripan Teks Berita

Daur Ulang Text didefinisikan sebagai pemanfaatan sumber tulisan yang ada untuk penulisan sebuah teks baru. Persentase penggunaan ulang teks dari sumber sebelumnya sangatlah bervariasi. Jika prosentase penggunaan tersebut tinggi dan berasal dari sebuah sumber, maka teks yang baru menjadi teks duplikat atau hampir duplikat dengan teks sumbernya. Meskipun beberapa genre teks bisa diterima, keberadaan teks duplikat dan hampir dupilkat ini menyebabkan ketidak-efisienan penyimpanan dan pencarian. Untuk itu diperlukan sebuah system deteksi kemiripan teks yang akan mengidentifikasi teks mana saja yang dupilkat dan hampir duplikat. Untuk itu, penelitian ini berfokus pada deteksi kemiripan teks dengan mengaplikasikan algoritma Simhash. Algoritma ini digunakan untuk menghasilkan fingerprint dokumen yang berfungsi sebagai fitur dokumen yang digunakan sebagai dasar pembanding tingkat kemiripan teks. Kemiripan sebuah teks terhadap teks lainnya diukur dengan menggunakan jarak Hamming. Dalam ekperimen yang difokuskan pada dokumen duplikat dan hampir duplikat, tingkat Recall dokumen cukup tinggi yakni 80%. Ini berarti bahwa sistem yang dikembangkan mampu menemenukan pasangan dokumen duplikat dengan baik.