سواد داده · بررسی ادعاهای نظرسنجی

حاشیه خطای نظرسنجی چیست و چه نتیجه‌ای از آن می‌توان گرفت؟

تیتر می‌گوید: «اکثریت ساکنان خواهان افزایش ساعت کار کتابخانه‌اند؛ ۵۲ درصد موافق‌اند.» کمی پایین‌تر نوشته‌اند: حاشیه خطا مثبت و منفی سه واحد درصد. آیا هنوز می‌شود با اطمینان از «اکثریت ساکنان» حرف زد؟

حاشیه خطای نمونه‌گیری، عدم‌قطعیتِ برآورد از روی یک نمونه را در چارچوب روش و فرض‌های نظرسنجی بیان می‌کند. این عدد پوشش‌دهنده همه اشتباه‌های احتمالی پژوهش نیست. اول باید بدانیم به کدام برآورد، کدام جمعیت و کدام سطح اطمینان مربوط است؛ بعد ببینیم نتیجه‌ای که می‌خواهیم بنویسیم از آن به دست می‌آید یا نه.

از همان تیتر شروع کنیم

مثال آموزشی ساختگی: فرض کنید گزارش کتابخانه، موافقت را ۵۲٪ برآورد کرده و برای همین عدد، حاشیه سه واحد درصد با سطح اطمینان ۹۵٪ داده است. نمونه شامل هزار نفر از ساکنان بزرگسال بوده و روش انتخاب آن احتمالی است. فعلاً فرض می‌کنیم حاشیه اعلام‌شده با همین برآورد و روش سازگار است. این اعداد نتیجه نظرسنجی واقعی یا کار میدانی اوسینت جت نیستند.

بازه اعلام‌شده از ۴۹٪ تا ۵۵٪ است: سه واحد از ۵۲ کم و سه واحد به آن اضافه می‌کنیم. چون مقدارهای دو طرف ۵۰٪ در بازه قرار دارند، این بازه در سطح اطمینان ذکرشده، اکثریت در کل جمعیت را احراز نمی‌کند. البته این حرف هم به معنی اثبات نبودن اکثریت نیست.

پس دو واکنش شتاب‌زده را کنار بگذارید. «ساکنان قاطعانه موافق‌اند» از داده جلوتر می‌رود؛ «این نظرسنجی هیچ چیزی نمی‌گوید» هم برآورد و اطلاعات عدم‌قطعیت را نادیده می‌گیرد.

جمله دقیق‌تر برای همین تمرین چنین است: «برآورد موافقت ۵۲٪ است و بازه ۹۵درصدیِ گزارش‌شده از ۴۹٪ تا ۵۵٪ می‌رسد؛ این بازه اکثریت را در کل جمعیت احراز نمی‌کند.» اگر عدد و حاشیه در منبع گرد شده‌اند، همان دقت را حفظ کنید. اضافه کردن چند رقم اعشار، مدرک تازه‌ای تولید نمی‌کند.

۹۵ درصد، احتمال درست بودن کل گزارش نیست

سطح اطمینان به روش ساخت بازه مربوط است: تحت فرض‌های روش، بازه‌های حاصل از نمونه‌گیری مکرر در نسبت اعلام‌شده‌ای از دفعات، مقدار واقعی جمعیت را در بر می‌گیرند. این، گواهی درستی کل پژوهش نیست. راهنمای بازه اطمینان اداره آمار کار آمریکا این تعبیر را توضیح می‌دهد.

در مثال کتابخانه، ۹۵٪ را به همان بازه وصل کنید. جمله «با احتمال ۹۵ درصد افزایش ساعت، مراجعه را بیشتر می‌کند» از این سؤال به دست نمی‌آید. موافقتِ اظهارشده با یک پیشنهاد، با اثر واقعی اجرای آن بر رفتار آینده فرق دارد.

شرکت‌کنندگان چطور انتخاب شده‌اند؟

در نمونه‌گیری احتمالی، احتمال انتخاب افراد معلوم است. راهنمای نظرسنجی AAPOR درباره نسبت دادن حاشیه معمول نمونه‌گیری به نمونه‌های غیراحتمالی هشدار می‌دهد. سنجه عدم‌قطعیت مبتنی بر مدل، به بررسی روش و فرض‌های خودش نیاز دارد.

حالا جزئیات تمرین را عوض کنید: هزار پاسخ از دکمه رأی‌گیری در صفحه اجتماعی کتابخانه آمده‌اند. عدد ۵۲٪ همان است، اما توضیح «نمونه احتمالی ساکنان» دیگر وجود ندارد. وارد کردن تعداد هزار در یک ماشین‌حساب آنلاین، این کمبود را حل نمی‌کند؛ هنوز نمی‌دانیم شرکت‌کنندگان چه نسبتی با جمعیت مورد ادعا دارند.

برای این حالت می‌توان محدودتر نوشت: «در پاسخ‌های جمع‌آوری‌شده از رأی‌گیری صفحه اجتماعی کتابخانه، ۵۲٪ موافق بودند.» تاریخ جمع‌آوری و کنترل‌های شناخته‌شده پاسخ‌ها را هم ذکر کنید. تعمیم به همه ساکنان بزرگسال، همچنان نیازمند پشتوانه است.

خودِ اینترنتی بودن، ایراد روش را ثابت نمی‌کند. راهنمای روش‌های پژوهش AAPOR توضیح می‌دهد که نظرسنجی آنلاین می‌تواند از انتخاب احتمالی یا غیراحتمالی استفاده کند. سؤال مهم این است که افراد چگونه انتخاب شده‌اند، نه فقط اینکه کجا پاسخ داده‌اند.

چه خطاهایی بیرون از این عدد می‌مانند؟

مرکز آمار کانادا، خطای نمونه‌گیری را از خطاهای دیگری مانند پوشش ناقص جمعیت، بی‌پاسخی و مشکلات سؤال جدا می‌کند. حاشیه کوچک نمونه‌گیری همه این خطرها را اندازه نمی‌گیرد.

مثلاً در همان تمرین، اگر فهرست انتخاب فقط اعضای کتابخانه را شامل شود، کسانی که کارت عضویت ندارند بیرون می‌مانند. اگر سؤال بپرسد «آیا برای کمک به خانواده‌های نیازمند با افزایش ساعت موافقید؟»، شیوه بیان سؤال هم ارزش بررسی دارد. اگر نمودار، گزینه «بستگی به هزینه دارد» را حذف کرده باشد، ممکن است تصویر کاملی از گزینه‌های پاسخ نداشته باشیم.

هیچ‌کدام از این پرسش‌ها به‌تنهایی مجوز اعلام جعلی بودن نظرسنجی نیست. متن پرسش‌نامه و توضیح روش را پیدا کنید. به‌جای یک برچسب کلی، بنویسید چه اطلاعاتی در نسخه منتشرشده پیدا نشد: «روش جذب پاسخ‌دهندگان در این گزارش توضیح داده نشده» مشاهده‌ای است که شخص دیگری هم می‌تواند بررسی کند.

نتیجه یک زیرگروه، حاشیه مخصوص خودش را می‌خواهد

فرض کنید گزارش می‌گوید ۵۸٪ از پاسخ‌دهندگان زیر ۲۵ سال موافق‌اند. فقط صد نفر از نمونه در این گروه‌اند و برای آن‌ها حاشیه جداگانه‌ای داده نشده است. نمی‌توان حاشیه سه‌واحدی کل نمونه را خودکار کنار ۵۸٪ گذاشت. AAPOR یادآوری می‌کند که با کوچک‌تر شدن نمونه زیرگروه، حاشیه معمولاً بزرگ‌تر می‌شود. باید سنجه مناسب همان برآورد و طرح نمونه‌گیری را گرفت.

در یادداشتتان برای کل نمونه و زیرگروه دو سطر بگذارید. روبه‌روی سطر دوم بنویسید «عدم‌قطعیت ارائه نشده». وقتی وزن‌دهی و جزئیات طرح معلوم نیست، فقط از تعداد افراد یک حاشیه تازه نسازید و آن را به منبع نسبت ندهید.

هم‌پوشانی بازه‌ها به‌تنهایی ثابت نمی‌کند که اختلاف آماری معنادار نیست. BLS انجام آزمون مقایسه را لازم می‌داند؛ روش باید با برآوردها و وابستگی احتمالی آن‌ها سازگار باشد.

یک بار خودتان نتیجه را تغییر دهید

این بار یک عدد فرضی دیگر بردارید: موافقت ۶۱٪، با حاشیه معتبر و اعلام‌شده چهار واحد درصد و سطح اطمینان ۹۵٪. بازه از ۵۷٪ تا ۶۵٪ است. تمام این بازه بالای ۵۰٪ قرار دارد؛ بنابراین تحت فرض‌های ذکرشده نظرسنجی، از نتیجه «اکثریت جمعیت مورد مطالعه موافق‌اند» پشتیبانی می‌کند. باز هم موفقیت اجرای طرح از این عدد معلوم نمی‌شود.

حالا در تعریف جمعیت، عبارت «ساکنان بزرگسال» را با «اعضای فعلی کتابخانه» عوض کنید. محاسبه تغییری نمی‌کند، اما نتیجه باید درباره اعضا نوشته شود. یکی از خطاهای مهم در نقل آمار همین‌جاست: عدد درست است، جمعیتی که تیتر به آن اشاره می‌کند درست نیست.

چه چیزهایی را کنار عدد نگه داریم؟

پیش از نقل نتیجه، این یادداشت کوتاه را تکمیل کنید. هرجا پاسخ در منبع نیست، جای خالی را آشکار نگه دارید:

راهنمای شفافیت AAPOR که بالاتر پیوند داده شد، بر ارائه روش، سؤال‌ها، جمعیت، نمونه و وزن‌دهی تأکید دارد. فایده این یادداشت برای خواننده روشن است: می‌بیند حاشیه خطا واقعاً به همان عدد نقل‌شده مربوط است یا از جای دیگری برداشته شده است.

اگر آمار بخشی از یک بررسی بزرگ‌تر است، قالب گزارش اوسینت جت کمک می‌کند نتیجه عددی، منبع و سؤال باز کنار هم بمانند. برای ارزیابی گزارشی که تحویل گرفته‌اید نیز راهنمای خواندن گزارش مفید است. یک درصد خوش‌ظاهر نباید فاصله میان «نتیجه مشاهده‌شده» و «کاری که پیشنهاد می‌شود انجام دهیم» را پنهان کند.