Menobatkan suatu provinsi sebagai yang tertinggi berdasarkan basis sekecil itu merupakan klaim yang jauh lebih besar daripada kemampuan datanya.
Kelemahan paling jelas terlihat pada analisis perpindahan pemilih PSI. Laporan menyebut sekitar 1 persen responden mengaku memilih PSI pada Pemilu 2024. Satu persen dari 1.260 responden hanya sekitar 13 orang. Dari kelompok sangat kecil itu, Tempo Data Science menyimpulkan 28 persen suara PSI berpindah ke Golkar.
Secara kasar, angka 28 persen tersebut dapat mewakili hanya tiga atau empat orang. Data tiga atau empat responden kemudian diubah menjadi narasi perpindahan suara partai secara nasional. Ini bukan presisi, tapi kesimpulan dari basis yang secara statistik tidak memadai.
Analisis citra tokoh juga menghadapi persoalan serupa. Penilaian terhadap Gibran dibangun dari 61 responden, Ganjar 50 responden, dan AHY hanya 40 responden. Pada basis 40 responden, margin of error sederhana dapat mencapai sekitar ±15 poin. Perbedaan antartokoh yang terlihat besar dalam grafik belum tentu bermakna secara statistik.
Laporan ini juga mengandung inkonsistensi internal. Pada halaman 19, skor kepuasan Prabowo ditampilkan sebesar 5,8, Prabowo–Gibran 5,7, dan Gibran 5,3. Namun, kotak kesimpulan pada halaman yang sama menyebut skor rata-rata Prabowo–Gibran sebesar 5,8. Dua angka berbeda digunakan untuk objek yang sama.
Executive summary menyebut 29 persen responden belum menentukan atau merahasiakan pilihan partai. Grafik pilihan partai hanya menunjukkan 24 persen. Bagian “Top 5 Alasan” menampilkan enam alasan. Elektabilitas dalam format terbuka hanya berjumlah sekitar 86 persen, sementara format dengan daftar nama hanya sekitar 92 persen. Sisa jawaban tidak dijelaskan secara memadai.
Klaim kesan positif terhadap Dedi Mulyadi sebesar 98 persen juga menggunakan denominator yang berbeda dari grafik. Grafik menunjukkan 73 persen positif dan 22 persen sangat positif, sehingga totalnya 95 persen. Angka 98 persen baru muncul setelah jawaban tidak tahu dikeluarkan dari perhitungan. Perubahan basis tersebut tidak dijelaskan kepada pembaca.
Temuan MBG tidak kalah problematis. Executive summary menyebut awareness MBG hampir 99 persen dan lebih dari separuh masyarakat yang mengetahui program itu menilai pelaksanaannya kurang baik.
Namun, laporan tidak menyajikan instrumen, tabel, kategori jawaban, maupun basis responden yang menghasilkan angka tersebut. Klaim penting dimasukkan ke dalam kesimpulan tanpa membuka data pendukungnya.
Perbandingan tren Desember 2025, Februari atau Maret 2026, dan Agustus 2026 juga belum dapat dipertanggungjawabkan. Laporan tidak membuktikan bahwa seluruh gelombang memakai redaksi instrumen, metode wawancara, populasi, desain sampel, pembobotan, dan penyelenggara yang sama.
Pada satu bagian digunakan Maret 2026, sedangkan bagian lain menggunakan Februari 2026. Catatan grafik elektabilitas partai bahkan menyebut data survei sebelumnya “diberikan pengguna”, tanpa menjelaskan siapa pengguna tersebut dan siapa yang menjalankan surveinya.
Penurunan kepuasan dari 75 persen menjadi 37 persen juga disebut mencapai minus 38 persen. Secara statistik, perubahan itu adalah penurunan 38 poin persentase. Penurunan relatifnya sekitar 50,7 persen.
Kekeliruan membedakan persen dengan poin persentase memperlihatkan lemahnya pengendalian mutu pada laporan yang mengklaim menggunakan analisis data tingkat lanjut.
