Kelemahan ketiga tampak langsung pada formulir survei. Formulir hanya memperlihatkan satu penilaian umum mengenai seberapa besar masalah korupsi polisi di negara tempat pengisi tinggal, pilihan negara, gender, dan usia.
Tidak tampak mekanisme verifikasi domisili, identitas, kewarganegaraan, lokasi pengisian, ataupun pembuktian bahwa pengisi benar-benar tinggal di negara yang dipilih.
Seseorang cukup memilih “Indonesia” dari daftar negara yang tersedia. Tanpa prosedur verifikasi yang dibuka kepada publik, tidak dapat dipastikan apakah seluruh responden yang dihitung sebagai Indonesia benar-benar berasal dari penduduk Indonesia, apakah responden berasal dari satu orang yang mengisi berulang kali, atau apakah ada mobilisasi kelompok tertentu yang memengaruhi hasil.
Kelemahan keempat adalah ketiadaan periode pengumpulan data yang jelas. IndexMundi mengumumkan survei globalnya pada 11 Oktober 2015, tetapi halaman hasil yang dipakai untuk mengangkat klaim terhadap Indonesia tidak menjelaskan kapan 296 responden tersebut dikumpulkan, kapan survei ditutup, apakah datanya masih diperbarui, atau apakah jawaban lama dicampur dengan jawaban yang masuk bertahun-tahun setelahnya.
Tanpa tanggal lapangan yang jelas, publik tidak mengetahui umur data tersebut. Skor 7,56 tidak dapat secara otomatis diperlakukan sebagai gambaran persepsi publik pada 2026.
Persepsi terhadap kepolisian sangat mungkin berubah akibat kasus besar, penegakan hukum, pergantian kebijakan, dinamika politik, pemberitaan media, atau pengalaman langsung masyarakat pada periode yang berbeda.
Kelemahan kelima terletak pada penggunaan margin of error 5,70 persen yang memberi kesan seolah-olah survei ini memenuhi ukuran presisi statistik. Untuk 296 responden, angka 5,70 persen identik dengan hasil rumus margin of error maksimum yang lazim dipakai pada asumsi sampel acak sederhana: 1,96 × √(0,25/296) = 5,696 persen.
Pola itu juga terlihat pada negara lain. Untuk 644 responden di Honduras, tabel menampilkan 3,86 persen, sama dengan hasil rumus margin of error maksimum pada sampel acak sederhana. Untuk 5.897 responden di Meksiko, tabel menampilkan 1,28 persen, juga sejalan dengan rumus tersebut.
Masalahnya, IndexMundi tidak membuka bukti bahwa responden tersebut berasal dari sampel probabilitas atau sampel acak sederhana.
Padahal, American Association for Public Opinion Research atau AAPOR menegaskan bahwa margin of error konvensional dilaporkan untuk survei probabilitas. Untuk sampel nonprobabilitas, ukuran presisi hanya layak ditampilkan apabila modelnya dijelaskan, asumsi divalidasi, dan metode perhitungannya dibuka secara rinci.
IndexMundi tidak menjelaskan semua itu. Karena itu, angka margin of error 5,70 persen tidak dapat dipakai untuk membuktikan bahwa skor 7,56 akurat menggambarkan penduduk Indonesia. Angka tersebut hanya menciptakan kesan presisi statistik yang tidak dapat diverifikasi dari metodologi terbuka.
Kelemahan keenam, skor dua desimal yang terlihat presisi tidak didukung penjelasan rumus pembentukannya. Responden hanya diberi lima pilihan kategori, yakni bukan masalah, masalah kecil, masalah rata-rata, masalah serius, dan masalah sangat serius.
Namun IndexMundi kemudian menampilkan hasil akhir dalam bentuk skor seperti 7,56, 7,54, atau 7,63 tanpa membuka rumus konversi dari lima kategori tersebut menjadi skala angka.
Publik tidak diberi tahu apakah tiap kategori diberi bobot yang sama, bagaimana respon kosong diperlakukan, apakah ada pembobotan berdasarkan umur atau gender, dan bagaimana nilai rata-rata dihitung. Angka dua desimal memberi kesan teknis dan teliti, padahal formula di baliknya tidak dapat diperiksa.
