dapet share artikel ini dari seorang teman beberapa bulan lalu, disaat semua sibuk mempertanyakan hasil quick count,
yang secara ajaib bisa berbeda secara nyata he he,...
Mengapa Hasil Quick Count
Bisa Berbeda?
16 Juli 2014 13:08 WIB
SETIAP usai pemilu atau pilkada, hasil quick
count adalah sesuatu yang sangat ditunggu-tunggu oleh para konstestan dan
juga masyarakat luas. Tidak jarang para kontestan kemudian mendeklarasikan
kemenangan mereka berdasarkan hasil quick count, tanpa harus menunggu
hasil real count.
Dalam banyak kesempatan, hasil quick count beberapa lembaga memang sangat mirip dengan real count. Ini yang sepertinya dijadikan argumen bahwa hasil quick count bisa menjadi acuan real count.
Maka ketika pada pilpres yang baru saja berlalu, hasil-hasil quick count yang dirilis berbagai lembaga saling bertolak belakang, maka tudingan bahwa hasil beberapa lembaga itu tidak valid dan merupakan ‘pesanan’ pun bermunculan.
Untuk memahami keberagaman hasil quick count ini, harus dipahami kalau quick count adalah suatu metode untuk menduga hasil real count secara cepat. Karena harus dilakukan secara cepat, hasil quick count hanya berdasarkan data dari sebagian kecil saja dari populasi tempat pemungutan suara (TPS) di Indonesia.
Agar hasil quick count bisa dipertanggungjawabkan, pemilihan TPS yang masuk dalam perhitungan harus benar-benar dilakukan secara acak (random) dan representatif. Prinsip acak dan representatif ini sangat penting sekali, karena kalau pemilihan TPS didominasi oleh TPS yang ‘dikuasai’ oleh salah satu kontestan, maka hasil quick count tidak valid dan tidak dapat digunakan untuk menduga real count.
Sekarang marilah kita berbaik sangka dan katakanlah semua lembaga tersebut menerapkan prinsip acak dengan tepat dan menggunakan metode sampling yang sama. Lalu mengapa hasilnya bisa berbeda? Jawabannya terletak pada prinsip acak itu tadi, kalau dua lembaga mengambil contoh TPS secara acak, maka hampir dapat dipastikan TPS-TPS yang mereka pilih tidak akan ada yang sama. Kalaupun ada yang sama, jumlahnya akan sedikit sekali. Sehingga sangat wajar kalau hasilnya pun akan berbeda.
Pertanyaannya perbedaan antarlembaga sebesar apakah yang dapat dianggap wajar? Bagaimana pula kalau ada lembaga quick count yang hasilnya jauh dari hasil real count?
Untuk menjawab kedua pertanyaan di atas, kita dapat menggunakan kaidah ilmu statistika dengan asumsi bahwa sampel dipilih secara acak dan representatif, data analisis dilakukan dengan pembobotan yang benar dan tidak ada human error seperti data entry error dalam tabulasi hasil quick count.
Karena quick count bukan merupakan pengganti real count, melainkan hanya dapat digunakan untuk menduga saja, maka hasil akhir quick count adalah berupa suatu selang (interval) yang diyakini hasil real count akan berada di dalam selang tersebut. Lebar selang ini diwakili oleh dua kali margin of error.
Misalkan hasil sebuah lembaga menyatakan salah satu kontestan memperoleh 55% suara, dengan margin of error 1%, ini artinya lembaga tersebut berkeyakinan (berdasarkan data yang ada) kalau hasil real count akan berada di interval antara 54% and 56%. Tapi yang tidak diungkap atau kurang dipahami oleh banyak lembaga survei, bahwa interval yang dihasilkan yang lebarnya dua kali margin of error itu tidak akan selalu memuat hasil real count yang sebenarnya. Mengapa? Karena bedasarkan kaidah Central Limit Theorem, misalkan di suatu negara ‘antah berantah’ ada 100 lembaga survei melakukan quick count, maka dapat dipastikan sekitar 5 dari 100 lembaga (5%) ini akan menghasilkan interval pendugaan yang tidak akan memuat hasil real count.
Jadi bukan saja quick count memiliki margin of error, tetapi bahkan 5% dari hasilnya pun bisa meleset dari real count, walaupun metode sampling dan pengacakan yang mereka gunakan sudah benar! Di dalam istilah ilmu statistika, melesetnya interval hasil quick count ini dinamakan type I error. Karena itu, saya menyarankan kalau ke depannya hasil quick count dinyatakan dalam interval yang lebarnya empat kali margin of error, bukan dua kali margin of error.
Dengan interval yang lebih lebar ini, masih dengan menggunakan Central Limit Theorem, hampir akan mustahil mendapati interval yang tidak memuat hasil real count.
Lalu bagaimana dengan variasi hasil antar lembaga survei? Kalau implementasi survei dilakukan dengan benar, seharusnya hampir mustahil menemukan dua lembaga survei yang hasilnya berbeda lebih dari empat kali margin of error. Kita ambil contoh, dengan margin of error 1%, maka hasil antarlembaga seyogianya tidak akan berbeda lebih dari 4%. Variasi ‘alami’ antarlembaga ini yang potensial menyebabkan kebingungan ketika selisih kemenangan (winning margin) lebih kecil dari empat kali margin of error.
Dalam contoh di atas, kalau salah satu kontestan (A) sesungguhnya meraih 51,5% suara berbanding 48,5% untuk calon lainnya (B) (3% winning margin), maka hasil-hasil quick count untuk kontestan A akan berada dalam interval selebar 4%, antara 49,5% (kontestan B unggul) dan 53,5% (kontestan A unggul). Sehingga, kalau winning margin lebih kecil dari empat kali margin of error, sangatlah tidak bijak kalau hasil quick count digunakan untuk memprediksi pemenang.
Penggunaan angka margin of error yang tepat sangatlah penting, karena margin of error mengukur tingkat ketelitian suatu survei. Sebagian besar lembagai survei di Indonesia, saya duga, menggunakan multi-stage atau cluster sampling dalam proses quick count, tetapi margin of error dihitung berdasarkan simple random sampling. Secara umum, simple random sampling (SRS) menghasilkan margin of error yang lebih kecil dari multi-stage atau cluster sampling.
Penggunakan margin of error yang tidak tepat ini potensial menimbulkan kebingungan di masyarakat dan kecurigaan akan manipulasi hasil quick count. Mengapa? Sebagai contoh misalkan margin of error yang sesungguhnya dengan menggunakan cluster sampling adalah 2,5%, tetapi sebuah lembaga survei memakai 1% yang berdasarkan SRS, maka kalau ada lembaga lain yang hasilnya berbeda 5%, sudah pasti hasil lembaga yang kedua ini akan dipertanyakan karena melebihi batas wajar antar lembaga yang 4%. Lain halnya kalau memakai margin of error yang sesungguhnya, maka perbedaan 5% masih dapat ditoleransi.
Sayangnya, untuk saat ini saat sulit untuk menghitung margin of error yang sebenarnya dari hasil-hasil quick count di Indonesia, dikarenakan minimnya informasi tentang desain dan implementasi survei tiap-tiap lembaga yang dapat diakses publik.
Agar hasil-hasil quick count tidak membingungkan masyarakat, saya menyarankan di masa mendatang, hasil quick count diberikan dalam bentuk interval yang lebarnya empat kali margin of error (+ 2 margin of error). Penghitungan margin of error harus juga dilakukan menggunakan formula yang mencerminkan desain survei yang digunakan, agar tidak terjadi overclaim terhadap tingkat ketelitian survei.
Audit secara independen terhadap lembaga-lembaga yang menyelenggarakan quick count juga diperlukan bukan hanya agar masyarakat yakin akan keabsahan metodologi dan implementasi yang digunakan, tetapi juga untuk memperkecil risiko non sampling error yang berpotensi melebarkan perbedaan hasil antarlembaga.
Bagi lembaga survei penyelenggara quick count, ke depannya mungkin perlu dipikirkan cara untuk memperkecil margin of error, jika diperkirakan winning margin akan relatif kecil. Dengan margin of error yang lebih kecil, maka akan terdapat peluang yang lebih besar untuk mengambil kesimpulan konklusif dari hasil quick count. Memperkecil margin of error biasanya dilakukan dengan penambahan jumlah TPS yang disurvei. Tetapi juga dapat dipikirkan terobosan baru, misalnya dengan menggabungkan data quick count beberapa lembaga dengan metodologi yang sama. Margin of error yang sangat kecil juga merupakan prasyarat jika quick count akan digunakan untuk memonitor potensi kesalahan pada hasil real count.
Akhirnya, saya percaya jika quick count dilakukan dengan metode yang benar dan memperhatikan prinsip-prinsip acak dan representatif sehinggan non sampling error dapat dihilangkan atau setidaknya diminimisasi, tidak ada alasan untuk tidak meyakini bahwa hasil real count akan berada dalam jarak +2 margin of error dari hasil quick count.
Agus Salim, Ph.D
Alumni Departemen Statistika, Institut Pertanian Bogor (IPB) dan saat ini adalah Senior Lecturer di Department of Mathematics and Statistics, La Trobe University, Melbourne, Australia. (jri)
Dalam banyak kesempatan, hasil quick count beberapa lembaga memang sangat mirip dengan real count. Ini yang sepertinya dijadikan argumen bahwa hasil quick count bisa menjadi acuan real count.
Maka ketika pada pilpres yang baru saja berlalu, hasil-hasil quick count yang dirilis berbagai lembaga saling bertolak belakang, maka tudingan bahwa hasil beberapa lembaga itu tidak valid dan merupakan ‘pesanan’ pun bermunculan.
Untuk memahami keberagaman hasil quick count ini, harus dipahami kalau quick count adalah suatu metode untuk menduga hasil real count secara cepat. Karena harus dilakukan secara cepat, hasil quick count hanya berdasarkan data dari sebagian kecil saja dari populasi tempat pemungutan suara (TPS) di Indonesia.
Agar hasil quick count bisa dipertanggungjawabkan, pemilihan TPS yang masuk dalam perhitungan harus benar-benar dilakukan secara acak (random) dan representatif. Prinsip acak dan representatif ini sangat penting sekali, karena kalau pemilihan TPS didominasi oleh TPS yang ‘dikuasai’ oleh salah satu kontestan, maka hasil quick count tidak valid dan tidak dapat digunakan untuk menduga real count.
Sekarang marilah kita berbaik sangka dan katakanlah semua lembaga tersebut menerapkan prinsip acak dengan tepat dan menggunakan metode sampling yang sama. Lalu mengapa hasilnya bisa berbeda? Jawabannya terletak pada prinsip acak itu tadi, kalau dua lembaga mengambil contoh TPS secara acak, maka hampir dapat dipastikan TPS-TPS yang mereka pilih tidak akan ada yang sama. Kalaupun ada yang sama, jumlahnya akan sedikit sekali. Sehingga sangat wajar kalau hasilnya pun akan berbeda.
Pertanyaannya perbedaan antarlembaga sebesar apakah yang dapat dianggap wajar? Bagaimana pula kalau ada lembaga quick count yang hasilnya jauh dari hasil real count?
Untuk menjawab kedua pertanyaan di atas, kita dapat menggunakan kaidah ilmu statistika dengan asumsi bahwa sampel dipilih secara acak dan representatif, data analisis dilakukan dengan pembobotan yang benar dan tidak ada human error seperti data entry error dalam tabulasi hasil quick count.
Karena quick count bukan merupakan pengganti real count, melainkan hanya dapat digunakan untuk menduga saja, maka hasil akhir quick count adalah berupa suatu selang (interval) yang diyakini hasil real count akan berada di dalam selang tersebut. Lebar selang ini diwakili oleh dua kali margin of error.
Misalkan hasil sebuah lembaga menyatakan salah satu kontestan memperoleh 55% suara, dengan margin of error 1%, ini artinya lembaga tersebut berkeyakinan (berdasarkan data yang ada) kalau hasil real count akan berada di interval antara 54% and 56%. Tapi yang tidak diungkap atau kurang dipahami oleh banyak lembaga survei, bahwa interval yang dihasilkan yang lebarnya dua kali margin of error itu tidak akan selalu memuat hasil real count yang sebenarnya. Mengapa? Karena bedasarkan kaidah Central Limit Theorem, misalkan di suatu negara ‘antah berantah’ ada 100 lembaga survei melakukan quick count, maka dapat dipastikan sekitar 5 dari 100 lembaga (5%) ini akan menghasilkan interval pendugaan yang tidak akan memuat hasil real count.
Jadi bukan saja quick count memiliki margin of error, tetapi bahkan 5% dari hasilnya pun bisa meleset dari real count, walaupun metode sampling dan pengacakan yang mereka gunakan sudah benar! Di dalam istilah ilmu statistika, melesetnya interval hasil quick count ini dinamakan type I error. Karena itu, saya menyarankan kalau ke depannya hasil quick count dinyatakan dalam interval yang lebarnya empat kali margin of error, bukan dua kali margin of error.
Dengan interval yang lebih lebar ini, masih dengan menggunakan Central Limit Theorem, hampir akan mustahil mendapati interval yang tidak memuat hasil real count.
Lalu bagaimana dengan variasi hasil antar lembaga survei? Kalau implementasi survei dilakukan dengan benar, seharusnya hampir mustahil menemukan dua lembaga survei yang hasilnya berbeda lebih dari empat kali margin of error. Kita ambil contoh, dengan margin of error 1%, maka hasil antarlembaga seyogianya tidak akan berbeda lebih dari 4%. Variasi ‘alami’ antarlembaga ini yang potensial menyebabkan kebingungan ketika selisih kemenangan (winning margin) lebih kecil dari empat kali margin of error.
Dalam contoh di atas, kalau salah satu kontestan (A) sesungguhnya meraih 51,5% suara berbanding 48,5% untuk calon lainnya (B) (3% winning margin), maka hasil-hasil quick count untuk kontestan A akan berada dalam interval selebar 4%, antara 49,5% (kontestan B unggul) dan 53,5% (kontestan A unggul). Sehingga, kalau winning margin lebih kecil dari empat kali margin of error, sangatlah tidak bijak kalau hasil quick count digunakan untuk memprediksi pemenang.
Penggunaan angka margin of error yang tepat sangatlah penting, karena margin of error mengukur tingkat ketelitian suatu survei. Sebagian besar lembagai survei di Indonesia, saya duga, menggunakan multi-stage atau cluster sampling dalam proses quick count, tetapi margin of error dihitung berdasarkan simple random sampling. Secara umum, simple random sampling (SRS) menghasilkan margin of error yang lebih kecil dari multi-stage atau cluster sampling.
Penggunakan margin of error yang tidak tepat ini potensial menimbulkan kebingungan di masyarakat dan kecurigaan akan manipulasi hasil quick count. Mengapa? Sebagai contoh misalkan margin of error yang sesungguhnya dengan menggunakan cluster sampling adalah 2,5%, tetapi sebuah lembaga survei memakai 1% yang berdasarkan SRS, maka kalau ada lembaga lain yang hasilnya berbeda 5%, sudah pasti hasil lembaga yang kedua ini akan dipertanyakan karena melebihi batas wajar antar lembaga yang 4%. Lain halnya kalau memakai margin of error yang sesungguhnya, maka perbedaan 5% masih dapat ditoleransi.
Sayangnya, untuk saat ini saat sulit untuk menghitung margin of error yang sebenarnya dari hasil-hasil quick count di Indonesia, dikarenakan minimnya informasi tentang desain dan implementasi survei tiap-tiap lembaga yang dapat diakses publik.
Agar hasil-hasil quick count tidak membingungkan masyarakat, saya menyarankan di masa mendatang, hasil quick count diberikan dalam bentuk interval yang lebarnya empat kali margin of error (+ 2 margin of error). Penghitungan margin of error harus juga dilakukan menggunakan formula yang mencerminkan desain survei yang digunakan, agar tidak terjadi overclaim terhadap tingkat ketelitian survei.
Audit secara independen terhadap lembaga-lembaga yang menyelenggarakan quick count juga diperlukan bukan hanya agar masyarakat yakin akan keabsahan metodologi dan implementasi yang digunakan, tetapi juga untuk memperkecil risiko non sampling error yang berpotensi melebarkan perbedaan hasil antarlembaga.
Bagi lembaga survei penyelenggara quick count, ke depannya mungkin perlu dipikirkan cara untuk memperkecil margin of error, jika diperkirakan winning margin akan relatif kecil. Dengan margin of error yang lebih kecil, maka akan terdapat peluang yang lebih besar untuk mengambil kesimpulan konklusif dari hasil quick count. Memperkecil margin of error biasanya dilakukan dengan penambahan jumlah TPS yang disurvei. Tetapi juga dapat dipikirkan terobosan baru, misalnya dengan menggabungkan data quick count beberapa lembaga dengan metodologi yang sama. Margin of error yang sangat kecil juga merupakan prasyarat jika quick count akan digunakan untuk memonitor potensi kesalahan pada hasil real count.
Akhirnya, saya percaya jika quick count dilakukan dengan metode yang benar dan memperhatikan prinsip-prinsip acak dan representatif sehinggan non sampling error dapat dihilangkan atau setidaknya diminimisasi, tidak ada alasan untuk tidak meyakini bahwa hasil real count akan berada dalam jarak +2 margin of error dari hasil quick count.
Agus Salim, Ph.D
Alumni Departemen Statistika, Institut Pertanian Bogor (IPB) dan saat ini adalah Senior Lecturer di Department of Mathematics and Statistics, La Trobe University, Melbourne, Australia. (jri)
Tidak ada komentar:
Posting Komentar