BREAKING NEWS

Mengkritisi Metodologi Survei SMRC

SUARA TANGERANG – Ada yang menggelitik pada hasil survei SMRC yang diumumkan Senin, 28 Maret 2022. Bukan soal hasilnya, melainkan metode samplingnya. Cara menarik sampel dalam survei tersebut dijelaskan dalam video yang diunggah oleh SMRC pada platform youtube. Terkait dengan itu, maka ada dua hal penting yang menarik dipersoalkan, yaitu, metode penarikan sampel dan klaim berlebihan.

Penarikan Sampel
Pertama, soal penarikan sampel. SMRC tampaknya sedang mencoba mensiasati keterbatasan akibat pandemi Covid-19. Penarikan sampel survei dilakukan dengan menggabungkan dua cara. Cara pertama, menarik sampel dari kumpulan bekas respondennya pada survei-survei sebelumnya. Dan, cara kedua, membangkitkan angka acak menggunakan aplikasi tertentu (mungkin excel atau lainnya), menyerupai pola nomor telepon selular.

Menurut peneliti SMRC bahwa penggunaan teknik double sampling, kerangka sampelnya adalah daftar nama bekas responden yang punya telepon selular. Terdapat 114 ribu bekas responden yang dijadikan basis populasi. Sekitar 84 ribu diantaranya memiliki telepon selular.

Dari jumlah tersebut, peneliti kemudian memilih 18 ribu bekas responden secara acak (random), dan hanya 811 yang berhasil diwawancarai setelah melalui screening.

Apa itu salah? Tentu kita tak boleh latah menyimpulkannya. Tetapi kritik utama terhadap metode penarikan sampel ini, adalah berkurangnya sampel sejumlah 18 ribu menjadi 811. Artinya, sampel yang tak terpakai (reject) mencapai 95%. Pertanyaannya, apakah metode ini memenuhi kaidah random?

Mengapa pertanyaan di atas penting diajukan? Karena random dapat disebut sebagai jantungnya survei, sebuah faktor maha penting di dalam menentukan keterwakilan populasi yang kita sebut sampel. Jika random ini salah, maka dapat dipastikan bahwa hasil survei pun jauh dari yang diharapkan.

Semua unit populasi memiliki peluang yang sama untuk menjadi sampel (responden). Kurang lebih begitu pengertian random atau jamak disebut acak di sini. Apakah tahap memilih responden sebanyak 811 dari 18 ribu jumlah populasi, memenuhi asas itu? Kemungkinan untuk memenuhi batasan ini, terutama, jika seluruh 18 ribu responden ditelpon satu per satu.

Namun, jika hanya 5% dari jumlah calon responden bisa dihubungi, maka seberapa yakin kita bahwa itu bisa diangga mewakili 95% lainnya, dengan berbagai macam kompleksitas sifat populasinya? Dalam praktik survei tatap muka saja, calon responden yang menolak atau tidak ada di tempat memang harus diganti, tetapi itupun jumlah penggantinya terbatas.

Selain itu, pada saat pengolahan data, responden pengganti ditandai dan kerap tidak digunakan dalam analisis. Hal ini dilakukan karena dalam sampling, proses random membuat sampel jatuh pada unit populasi tertentu dan jika terlalu banyak melakukan penggantian akan menyumbang simpangan atau error yang lebih tinggi.

Kemudian, peneliti tidak menyebut secara terbuka, mengapa lebih dari 17 ribu sampel tidak dapat diwawancarai? Berapa banyak yang menolak dan berapa banyak nomor telepon tidak bisa dihubungi?

Jika responden reject sebagian besar atau seluruhnya karena tidak dapat dihubungi, maka berarti jumlah populasi yang terwakili oleh survei jauh lebih sedikit. Taruhlah populasi sebelum reject 84 ribu. Jika hanya 5% yang bisa dihubungi berarti jumlah populasi yang benar-benar eksis hanya sekitar 4 ribuan saja.

Pada penarikan sampel dengan metode random digit dialing (RDD), peneliti membangkitkan 4238 angka acak menyerupai pola nomor telepon selular. Setelah diverifikasi, hanya 457 yang berhasil diwawancara.

Pertanyaannya adalah angka yang dibangkitkan menggunakan pola penyedia jasa telepon selular yang mana? Sebab setiap penyedia jasa telepon selular, memiliki pola, komposisi, dan jumlah angka yang berbeda. Bahkan ada penyedia jasa telepon selular, memiliki jumlah angka sama, namun nomor telepon berbeda.

Jika peneliti tidak cermat membangkitkan angka dengan pola yang berbeda pula, maka sampelnya tidak memenuhi unsur keacakan. Lalu, bagaimana memastikan bahwa setiap nomor telepon memiliki peluang yang sama untuk menjadi sampel?

Sebab, bisa saja angka yang dibangkitkan mengikuti pola penyedia jasa telepon selular tertentu, sehingga pemilik telepon selular dari penyedia jasa lainnya, tidak memiliki peluang yang sama menjadi responden.

Oleh karena itu, jika sampel yang diperoleh tidak memenuhi asas keacakan, maka sampel tidak dapat secara tegas mewakili seluruh populasi pengguna telepon selular dengan hitungan presisi angka tertentu.

Klaim Berlebihan
Klaim survei SMRC sebagai mewakili masyarakat kritis pada dasarnya over generalized. Melampaui batas yang seharusnya. Kritik kali ini tidak untuk mempersoalkan apa itu masyarakat kritis menurut SMRC, tapi lebih pada aspek teknis metodologis saja. Debat konseptual terhadap itu kita akan bahas pada kesempatan lain.

Jika mengacu pada metode double sampling, klaim populasi yang diwakili oleh survei ini paling banter hanya mewakili bekas responden SMRC yang memiliki telepon selular yang jumlahnya 84 ribu orang. Jumlah inipun bisa berkurang jika sebagian besar nomor telepon tidak bisa dihubungi.

Demikian halnya jika mendasarkan pada metode RDD. Akan sangat berlebihan jika metode ini diklaim mewakili seluruh pengguna telepon selular di Indonesia. Sebab pola angka random yang dibangkitkan, diragukan mencakup semua varian nomor telepon selular di seluruh tanah air.

Juga, metode double sampling yang diklaim mewakili puluhan ribu bekas responden SMRC, dicampur dengan metode RDD yang tidak jelas mewakili pemilik telepon dari penyedia jasa telepon selular yang mana, membuat pencampuran keduanya dalam satu analisis, sangat mengganggu klaim keterwakilan.

Ibarat makanan, mencampur rawon dengan spaghetti membuat campuran itu tidak jelas mewakili apa dan siapa. Hemat penulis, pencampuran metode penariakn sampel ini membuat klaim seolah-olah hasil survei SMRC mewakili 72% masyarakat Indonesia pengguna telepon selular, sesungguhnya sangat rapuh.

Dalam keterangan dua peneliti SMRC, Saiful Mujani dan Deni Irvani, terdapat kesan bahwa bekas responden otomatis mewakili suara seluruh masyarakat dewasa (pemilik telepon) secara nasional. Karena sampel mereka telah melalui proses random dari wawancara tatap muka yang dilakukan sebelumnya. Benarkah?

Namun, klaim ini agak serampangan. Sebab kendati sudah melalui proses sampling secara benar, tatkala bekas responden ini disatukan dalam satu wadah, mereka sudah tercerabut dari akar keacakan sebelumnya. Bekas responden ini bukan satu kesatuan yang utuh lagi. Mereka adalah kumpulan unit populasi yang diikat dalam definisi bekas responden.

Dengan demikian, jika bekas responden itu dikesankan sebagai individu pilihan yang bisa menjawab pertanyaan survei, apa dan kapan, sudah sangat meragukan.

Tetapi lain halnya, misalnya, ada seribu responden yang pernah diwawancarai melalui metode tatap muka, dalam beberapa waktu kemudian seluruhnya diwawancara lagi melalui telepon, maka kedua hasil survei tersebut utuh mewakili populasinya.

Apakah itu wawancara tatap muka ataupun melalui telepon, keduanya menghasilkan klaim yang utuh atas populasi yang diwakilinya. Keduanya hanya berbeda metode pengumpulan data, namun keutuhan samplingnya tetap terjaga. Itupun harus tetap dibatasi, sebab jangan sampai terjadi responden sudah terkontaminasi oleh lembaga surveinya, hasilnya akan bias.

Selama masa pandemi covid 19 ini, cukup banyak hasil survei yang diumumkan, pengumpulan datanya menggunakan metode wawancara melalui telepon. Silahkan pembaca menilai, apakah responden survei tersebut utuh dari proses sampling sebelumnya, atau responden adalah kumpulan bekas responden yang disampling kembali.

Jika ada lembaga yang menggunakan cara kedua ini lantas diklaim sebagai data yang mewakili opini publik secara nasional, maka klaimnya berlebihan, bahkan sumir. Dan, jangan-jangan selama dua tahun terakhir ini, kita banyak disuguhi data semacam itu. Duh…!

Makassar, 02 Maret 2022

 

Ditulis Oleh : Yarifai Mappeaty

Leave a Reply

Your email address will not be published. Required fields are marked *

*

x

Check Also

Pak Jokowi, Carilah Lailatul Qadr

SUARA TANGERANG – Hari ini, saya memasuki hari ke-25 shaum Ramadhan. Kalau pak Jokowi dengan ...

Powered by themekiller.com anime4online.com animextoon.com apk4phone.com tengag.com moviekillers.com