Kelemahan ketujuh adalah ranking dibangun dari selisih skor yang sangat tipis, tanpa interval kepercayaan atau uji statistik.
Indonesia ditempatkan di urutan 18 dengan skor 7,56. Bolivia berada tepat di bawahnya dengan 7,54. Brasil dan Peru berada di atas dengan 7,63. Selisih Indonesia dengan Bolivia hanya 0,02 poin, sedangkan selisih dengan Brasil dan Peru hanya 0,07 poin.
IndexMundi tidak mempublikasikan standar deviasi, distribusi jawaban, interval kepercayaan atas rata-rata skor, atau pengujian statistik yang dapat membuktikan perbedaan tersebut signifikan.
Tanpa informasi itu, tidak ada dasar ilmiah untuk menganggap Indonesia benar-benar berbeda dari Bolivia, Brasil, atau Peru. Ranking lalu mengubah selisih yang mungkin sangat kecil dan tidak bermakna menjadi narasi dramatis tentang urutan kualitas institusi antarnegara.
Kelemahan kedelapan, klaim “peringkat 18 dunia” sesungguhnya hanya berarti urutan 18 dari 100 entitas yang ditampilkan pada tabel IndexMundi.
Tabel itu mencampurkan negara berdaulat dengan entitas seperti Puerto Rico, Aruba, Hong Kong, dan Macedonia. IndexMundi juga tidak menjelaskan aturan inklusi, ambang batas jumlah responden, negara yang tidak dimasukkan, atau alasan hanya 100 entitas yang masuk ke dalam daftar hasil.
Karena itu, frasa “peringkat 18 dunia” terlalu jauh. Yang dapat dipastikan hanya bahwa Indonesia berada pada urutan ke-18 dalam tabel 100 entitas yang dipublikasikan IndexMundi, bukan peringkat ke-18 dari seluruh negara di dunia, bukan peringkat ke-18 dari 193 negara anggota Perserikatan Bangsa-Bangsa, dan bukan hasil perbandingan survei nasional yang seragam antarnegara.
Kelemahan kesembilan, klaim bahwa Indonesia memiliki kepolisian “paling korup di Asia Tenggara” tidak ditopang cakupan data yang lengkap.
Tabel hasil memang memuat Indonesia, Thailand, Filipina, Malaysia, Kamboja, Vietnam, dan Singapura. Namun Brunei, Laos, Myanmar, serta Timor-Leste tidak muncul dalam daftar hasil, padahal sebagian negara tersebut tersedia dalam pilihan negara pada formulir survei.
Indonesia mungkin memiliki skor tertinggi di antara sebagian negara Asia Tenggara yang tercantum dalam tabel itu. Namun tidak ada dasar untuk menyimpulkan Indonesia tertinggi di seluruh Asia Tenggara ketika tidak semua negara kawasan masuk dalam hasil yang dipublikasikan. Klaim tersebut adalah generalisasi yang melampaui cakupan datanya sendiri.
Kelemahan kesepuluh menyangkut kualitas data dan pengendalian responden. IndexMundi tidak membuka mekanisme pencegahan pengisian berulang, deteksi bot, pemeriksaan jawaban tidak wajar, verifikasi identitas, penyaringan responden palsu, penghapusan data bermasalah, atau prosedur audit kualitas data.
Padahal AAPOR memasukkan pengendalian bot, responden ganda, pemeriksaan validitas, dan metode pengolahan data sebagai unsur yang perlu dijelaskan agar publik dapat menilai kualitas survei.
Tidak adanya penjelasan tersebut bukan bukti bahwa data IndexMundi pasti dimanipulasi. Namun ketidakterbukaan itu cukup untuk menyatakan bahwa publik tidak memiliki alat untuk memverifikasi apakah hasilnya bebas dari bot, pengisian berulang, mobilisasi terkoordinasi, responden palsu, atau bias kelompok tertentu.
