ארכיון הקטגוריה: מחשבות על סקרים

התחלנו עם 27-27 סיימנו עם 24-30 (על פיספוסי התחזיות והאפשרות של זיוף בתוצאות הבחירות)

פוסט אורח של פרופסור קמיל פוקס על המרחק בין מדגמי הטלוויזיה לתוצאות האמת (הפוסט עודכן ב- 2015-07-27)

תזכורת: תחזיות מדגמי הטלוויזיה בשעה 10 בליל הבחירות הצביעו על שיוויון או כמעט שיוויון בין הליכוד למחנה הציוני (27-27 בערוצים 1 ו 10, 28-27 בערוץ 2). בתום ספירת הקולות התברר שהליכוד קיבל 30 מנדטים לעומת 24 למחנה הציוני. התחזיות עבור שאר המפלגות היו די מדויקות. ללא ספק, מבחינה פוליטית, תחזית שגויה. ובמידה פחותה אך משמעותית, התחזית די שגויה גם מבחינה סטטיסטית.

 

תחזיות ליל הבחירות עוררו שאלות מטרידות: איך קרה שהתחזיות סטו דווקא במפלגות הגדולות בכשלושה מנדטים לכל כיוון בעוד שהתחזיות ליתר המפלגות היו די קרובות לתוצאות הבחירות? וגם, איך קרה שהסטיות בשלושת הערוצים היו לאותן המפלגות ובאותו סדר גודל? התופעה הצליחה לעורר תהיות גם בקרב אנשים קרובים שחלקם אפילו העלו השערות שהתוצאות שונו על ידי יד זדונית.

שאלות טובות שמצדיקות ניתוח ותשובה. חלק מהתשובה טמונה בתוצאות ההצבעה ב 10,119 הקלפיות. 70 קלפיות מתוכן היוו את מדגם הטלוויזיה של ערוץ 10. התחזית שפורסמה בשעה 10 בליל הבחירות הייתה תוצאה של הרצת המודל הסטטיסטי על תשובות משתתפי במדגם באותן 70 קלפיות. כעת, כאשר בידינו נתוני ההצבעה של באותן 70 הקלפות ("תוצאות האמת"), הרצנו עליהן את המודל הסטטיסטי שהניב את התחזית של השעה 10. התוצאות היו בכדלקמן: הליכוד 30 מנדטים, המחנה הציוני 24, הרשימה הערבית המשותפת 12, יש עתיד 11, כולנו 10, הבית היהודי, ישראל ביתנו, ש"ס ואגודת ישראל 7 מנדטים כ"א, מרצ 5 (ראה צילום פלט המחשב). תחזית טובה לכל הדעות. אגב, בזאת, לדעתי, גם מופרכת ההשערה של מניפולציה ששינתה את התוצאות. הרי הניתוח הסטטיסטי של אותן 70 הקלפיות הניב תוצאה קרובה מאד לתוצאות הבחירות. והרי לא סביר שמישהו חיבל דווקא בתוצאות של אותן הקלפיות הספציפיות.

pic1

מסתבר שבמעבר בין תוצאות המשתתפים במדגם הטלוויזיה לתוצאות האמת של אותן הקלפיות שלושה מנדטים נעו מהמחנה הציוני לליכוד. במלים אחרות, במצב אידיאלי, לו כל המצביעים בקלפיות הטלוויזיה היו מסכימים להשתתף במדגם ולו תשובת כולם לשאלה "עבור מי הצבעת?" הייתה תשובת אמת, אזי התחזית שהייתה מתפרסמת הייתה בדיוק התחזית דלעיל.

לא מיותר לציין שהמרכיבים התחזית שבשליטת הסוקרים הם בחירת קלפיות המדגם וניתוח התוצאות. מה שכמובן לא בשליטתם הן תשובות המצביעים באותן הקלפיות. ברור שכאשר התפלגות הצבעתם של המסרבים להשתתף במדגם שונה מזו של משתתפי המדגם, נגרמת הטייה בתחזית. וכאשר שם המפלגה הנמסר לפוקד שונה משם המפלגה אליה הצביעו, נגרמת הטייה נוספת.

בבחירות קודמות התפלגות התוצאות של משתתפי קלפיות המדגם דמתה מאד להתפלגות ההצבעה בפועל באותן הקלפיות. הסטיות התאפיינו בעיקר במגזרים מוגדרים באוכלוסייה, כמו חרדים, עולים וערבים. אלה סטיות הניתנות להערכה סטטיסטית וניתן להתחשב בהשפעתן בעת חישוב התחזית. יתר על כן, בדרך כלל הסטיות היו ממוקדות בקלפיות מסויימות.

לא כן הפעם. נסתכל בתוצאות של שתי המפלגות בהן עסקינן. בעת סגירת 70 הקלפיות שבמדגם הטלוויזיה של ערוץ 10 (בשעה 20:45), מספר המצביעים בפועל עבור הליכוד והמחנה הציוני היו 6692 ו 5922, בהתאמה, הפרש של 770 קולות לטובת הליכוד. לעומת זאת, במדגם הטלוויזיה באותן הקלפיות 4414 אמרו שהצביעו ליכוד לעומת 4700 שאמרו שהצביעו המחנה הציוני, הפרש של 286 קולות לטובת המחנה הציוני.

במלים אחרות, גם מספר ניכר של מסרבים וגם התברר בדיעבד שבין משתתפי המדגם, שיעור האומרים שהצביעו עבור המחנה הציוני היה גדול משמעותית משיעור האומרים שהצביעו ליכוד. אולי רק בגלל שאכן התפלגות הצבעתם של המסרבים הייתה שונה משמעותית מזו של המשתתפים. ואולי גם בגלל שבין המשתתפים שהצבעתם בקלפי לא תאמה את אמירתם, היו לא מעט מצביעי ליכוד שהפכו במדגם למצביעי המחנה הציוני.

אין כמובן דרך להפריד במדוייק בין השפעת המסרבים להשפעתם של אלה ששינו את צורת הצבעתם בדרכם לפגישה עם פוקד הטלוויזיה. אבל ניתוח נתונים מאפשר הערכה של סידרי הגודל של ההשפעות.

נתחיל בנושא המסרבים: עד לסגירת 70 הקלפיות שהיוו את מדגם הטלוויזיה של ערוץ 10, נרשמו על ידי הסוקרים 27,372 מצביעים, ומתוכם 21,193 השתתפו במדגם והסוקרים וציינו את המפלגה לה הצביעו. דהינו, 23% מהצביעים סירבו להשתתף במדגם. בעת ספירת כלל הקולות באותן הקלפיות נרשמו 29,812 מצביעים.

הטבלה הבאה מציגה את תוצאות קיבוץ הקלפיות לפי שיעורי ההצבעה לליכוד (לפי מה שמשתתפי המדגם אמרו לסוקרים) ואת ממוצעי שיעורי המסרבים באותן הקלפיות:

שיעור מצביעי ליכוד0%-10%11%-20%21%-30%31%-40%מעל 40%
ממוצע אחוז מסרבים18%18%26%27%28%

 

בכלל 70 הקלפיות, מקדם המתאם בין שיעורי ההצבעה לליכוד ובין שיעורי המסרבים באותן הקלפיות הוא 0.34+, שהוא כמובן מאד מובהק (p-value=.004). מאידך, מקדם המתאם בין מספר המצביעים ובין שיעורי ההצבעה לליכוד באותן הקלפיות הוא 0.06-, שהוא שלילי ומאד לא מובהק (p-value=.594).

במלים אחרות, לא עומס בקלפיות גרם לשיעור גבוה של מסרבים, וסביר שהייתה קורלציה בין הנטייה לסרב להשתתף במדגם לבין הנטייה להצביע עבור הליכוד.

וכעת לנושא התופעה של השינוי הוירטואלי של ההצבעה בדרך בין חדר הקלפי למועד הפגישה עם פוקד הטלוויזיה: כמובן, אין כל אפשרות לאמוד את היקף התופעה. לא נוכל אפילו להגיד ברמה מוחלטת של וודאות שאכן הייתה תופעה כזאת.  אך יש סימוכין לכך שהפעם הייתה כוונה מאורגנת לפגוע בתחזית  הטלוויזיה, כחלק מהפגיעה בתקשורת. הודעת וואטס-אפ שהסתובבה אצל רבים נוסחה כך: "בא לכם להראות לתקשורת שהיא לא קובעת את סדר היום ולא תוכל לחגוג כרצונה? ביום הבחירות אם יש מחוץ לקלפי שלכם קלפי של מדגם הטלוויזיה פשוט תשימו בה פתק הפוך ממה ששמתם בקלפי!! ורצוי פתק של מפלגת שמאל, כל שהתקשורת תלך לישון עם הדמיונות שלה ותקום עם המציאות שלנו. העתבק. להפיץ בכל הקבוצות!!!". (ראה צילום למטה).

pic

כמובן, זכותם של המסרבים לסרב, וגם זכותם של המשתתפים במדגם שרוצים בכך, להטות בכוונה את התחזית. זה כמובן עצוב, אבל זו המציאות.

עלינו להכיר אם כן בעובדה שבמיוחד בעת הזאת של מדיה חברתית, תיתכן פגיעה מכוונת ורבת היקף באמינות הסקרים, גם כאשר לתוצאות הסקר אין כל השפעה על החיים. סתם, כדי להוכיח שיכולים. נצטרך לחקור את התופעה ובמידת האפשר לבנות את הכלים המדעיים כדי להקטין את נזקה.

לסטטיסטיקאים ולחוקרי מדעי המדינה זה עשוי להיות מקרה מחקר חשוב ומרתק. עצוב, אך בכל זאת חשוב ומרתק. ובאשר להשפעות עתידיות על אמינות הסקרים, אני מציע שנצפור צפירת הרגעה. למרות הכל, לדעתי לפחות, זה היה מקרה מיוחד.

ראוי גם לציין את השפעתו של האילוץ לסגור את קלפיות המדגם לפני שמסתיימת ההצבעה בקלפיות. זהו אילוץ הנוכח בכל מערכות הבחירות, אך ניראה שהפעם השפעתו הייתה חריגה, הן בגלל היקף ההצבעה בשעות האחרונות והן בגלל התפלגות ההצבעה המשוערת באותן השעות.

ואכן, לפי נתוני הועדת הבחירות המרכזית, בבחירות האחרונות 13.1% מכלל המצביעים הצביעו בין השעות 20:00-22:00. זהו שיעור גבוה וחריג. בבחירות הקודמות מ 2013,  רק 4.4% מכלל המצביעים הצביעיו באותן השעות. בממוצע על פני 13 מערכות בחירות בין 1973 ל 2013, שיעור המצביעים בשעתיים האחרונות לפני סגירת הקלפיות עמד על 8.8%.

כעת, במדגם הטלוויזיה, עד לשעה 20:45, נרשמו  27,372 מצביעים ב 70 הקלפיות שבמדגם (משתתפים במדגם ומסרבים). באותן הקלפיות, בתוצאות האמת הסופיות היו 29,372 מצביעים, דהינו 8.2% מהמצביעים הצביעו באותן הקלפיות תוך שעה ורבע, עד 22:00.

אין כמובן דרך לוודא את התפלגות הצבעתם של המצביעים שהצביעו לאחר 20:45, אך ניתן לקבל אינדיקציה לגבי המגמה מתוך ניתוח הדיווחים על התפלגות ההצבעה לאורך היממה. בקלפיות של ערוץ 10, דווחו הנתונים שבע פעמים במשך יום הבחירות. בפעם השביעית והאחרונה דווחו הנתונים על המצביעים שבין השעות 20:00 ל 20:45.

להלן האחוזים של אלה שציינו בפני הסוקרים שהצביעי עבור הליכוד בדיווחים השונים. האחוזים הם מקרב המשתתפים במגדם (להוציא מסרבים):

דיווח שביעידיווח שישידיווח חמישידיווח רביעידיווח שלישידיווח שנידיווח ראשון
26%24%23%19%20%20%21%

בהינתן המגמה הברורה, לא בלתי סביר להניח שאחרי 20:45, שיעור המצביעים עבור הליכוד היה שיעור גבוה במיוחד ואולי אף גבוה מהערך המירבי שבטבלה. שוב תופעה חריגה בעוצמתה לעומת מערכות הבחירות הקודמות.

לבסוף, מספר מלים על ההבדל בין הטעות הפוליטית והטעות הסטטיסטית בתחזית ליל הבחירות. נדמיין תחזית בבחירות האחרות עם 30 מנדטים לליכוד, 27 מנדטים למחנה הציוני ו 8 מנדטים ליש עתיד (לעומת 30, 24, 11 בתוצאות הבחירות). מבחינה פוליטית, הטעות הייתה יותר נסבלת, בכל זאת תחזית נכונה של נצחון הליכוד. מבחינה סטטיסטית, זו תחזית באותו סדר גודל כמו התחזית המקורית (ואפילו קצת יותר גדולה).

 

מפלגת עלה ירוק עותרת כנגד מכוני הסקרים וערוצי החדשות – זה מעניין

הפוסט הבא הוא פחות מהסוג של "אי תראו, שגיאה!", ועוסק בנושא עמוק. תביאו כוס קפה, ותקראו בהנאה.

בסוף פברואר, מפלגת עלה ירוק (עם עורכי הדין חגי קלעי ואוהד רוזן) הגישו עתירה כנגד עיתון "הארץ", ידיעות אחרונות, ישראל היום, NRG, וואלה!, רשות השידור, חברת החדשות, ערוץ הכנסת, ערוץ 10, ומכוני הסקרים. בעתירה ביקשו שערוצי החדשות יפסיקו לפרסם תוצאות סקרים מעובדות למנדטים, ויעברו לפרסום תוצאות הסקרים הגולמיות באחוזים.

לצערי לא הצלחתי למצוא את קובץ העתירה המקורית (למישהו יש קישור?), ולכן אני מסתמך על

עידכון: שלחו אלי את העתירה המקורית, אתם מוזמנים להוריד אותה מכאן: Document (158)

ואף הופיעו דיווחים שלה באתרי החדשות. לדוגמא כאן (וגם כאן וכאן).

בעתירה הועלו שלל טענות, בין השאר נכתב כי:

"המצג שיוצרים המשיבים אינו משקף את המציאות אלא מתערב בה, ומעודד את הבוחרים שלא להצביע למפלגות העומדות על סף אחוז החסימה. העדר הדיווח על העליה המתמדת במצביעים הפוטנציאליים של אותן מפלגות, והצגתן כמי שזוכות ל חמישה אחוזים מהקולות, מעביר מסר שגוי לציבור כי אין כל סיכוי לכניסת מפלגות אלו לכנסת. התנהלות זו, בין אם במחדל ובין אם בכוונת מכוון עומדת בניגוד לדין, פוגעת פגיעה קשה בעיקרון החוקתי של שיוויון הבחירות, ומשפיעה השפעה לא ראויה ומוטה על ציבור הבוחרים והבוחרות".

ובכן מסתבר שיו"ר ועדת הבחירות המרכזית, השופט סלימן ג'ובראן, השיב אתמול (04/03/2015) לעתירה. הנה מה שנכתב:

החלטת ביניים -סלים ג'ובראן

הסיכום שלי של תגובת השופט:

  1. השופט דחה את הטענה שאי הכללה של "עלה ירוק" בסקרים שמעבירים הופכים אותם לפסולים. זאת משום שהעותרים לא הביאו חוות דעת סטטיסטית מקצועית בנושא, ואי לכך אין השופט יכול לקבל את דעת העותרים בנושא, והוא דוחה את טענתם.
  2. העתירה חשובה, אך לא תספיק להשפיע על הבחירות הקרובות. המשך הדיון יהיה ב- 11/03/2015
  3. השופט חושב (אך "מבלי להכריע בדבר"!) שיש מקום להתייחס למידת קירבתן של מפלגות שלא עברו את אחוז החסימה בסקר בתוצאות שמוצגות.

הסיקור של הכלכלה האמיתית – ודעתי

בדיווח שהופיע היום באתר "הכלכלה האמיתית" נכתבו כמה דברים בנושא. אפשר להגיב להרבה דברים שנאמרו שם, אני אתמקד ואתייחס למשפט המסכם שאיני מסכים איתו. הם כתבו:

אתמול החליט יו"ר ועדת הבחירות המרכזית,סלימן ג'ובראן, לקבל את עיקרי הטענות בעתירה.ערוצי התקשורת יחויבו לפיכך לפרסם את תוצאות הסקרים האמיתיות באחוזים במקום בעיבוד למנדטים.

זו לחלוטין לא הפרשנות שלי למה שכבוד השופט כתב. לפי הבנתי, השופט דחה כמה טענות בעתירה, ולגביהטענה המרכזית על החשיבות של הצגת קירבת המפלגות לאחוז החסימה – הוא חושב שראוי לקבל חוות דעת מומחית (ולכך הוא מזמין את מכוני הסקרים להגיב).

כך או אחרת, אני מסופק שהתוצאה של העתירה הזו תהיה הצגה של תוצאות הסקרים באחוזים ולא במנדטים. היות ותוצאות הבחירות ימדדו במנדטים, סביר מאד להציג לציבור את תוצאות הסקרים במנדטים ולא באחוזים.

עם זאת, לגבי הביטוי "עיבוד למנדטים", כוונת הכותבים בכלכלה האמיתית (אני משער) היא לא רק להמרה של אחוזים ל- 120 מנדטים, אלא השינויים הדרושים בתוצאות הסקר כדי לתת משקל שונה לנתונים על מנת שאלו ישקפו נאמנה יותר את אוכלוסיית ישראל ואת תוצאות הבחירות (הסברתי על הנושא של הטייה יותר בהרחבה כאן). לדעתי – אני חושב שזה יהיה פסול מאד להציג בתקשורת את תוצאות הנתונים הגולמיים ללא עיבוד מתאים. אני מסכים שהתהליך הזה כולל שיקול דעת אישי, ולכן עלול לכלול טעויות והטיות. עם זאת, לצערי, אני לא יודע על דרך טובה יותר לקבל תחזית "סבירה" לתוצאות הבחירות (היות והתוצאות הגולמיות צפויות להיות מאד מאד לא מייצגות לתוצאות האמת).

מצד שני, יכול להיות מעניין לראות האם השופט יחייב את מכוני הסקרים להציג את הנתונים הגולמיים ואת שיטות הסקירה. מצד אחד, אני משוכנע שמכוני הסקרים ילחמו לגבי זה היות ודרכי העיבוד מהווים סודות מקצועיים עבורם. אני לא יודע איזה שיקול ינצח "זכות הציבור לדעת" או "חופש העיסוק" הכולל שמירה על סודות מסחריים.

אני לא יודע איך העתירה הזו תסתיים – אבל כבר עכשיו היא מעלה סוגיות מעניינות מאד לבחינה משפטית – שכשלעצמו זה דבר טוב.

החלטתי לוותר על פירסום טווחי מנדטים בתוצאות של סקר בודד

בשבועיים האחרונים לא פירסמתי פוסטים חדשים. בעקבות דיונים שקיימתי עם סוקרים מקצועיים (אני משמיט את שמם מתוך כבוד) השתכנעתי שעדיף להימנע מפירסום (מה שכיניתי בפוסטים קודמים) טווח מנדטים סביר.

מבלי להכנס לפרטים, נתברר לי שבשל המורכבות של בניית תחזיות הסקרים, אינני יכול להסתמך על ההנחות הפשטניות שהצגתי בפוסטים הקודמים בשביל בניית טווחי המנדטים הסבירים. אי לכך, אני מעדיף מעכשיו והילך שלא להוסיף טווחי טעות, ולהשאיר את ההצגה הנוכחית של סקרים כפי שהיא.

אז מה אפשר לעשות עם סקר בודד?
כנראה משהו דומה למה שעשינו עד היום. להסתכל על התוצאות של סקר, להתייחס אליו כאילו הוא נכון ולנסות לתת לו פרשנות (מתוך ידיעה שעלולות להיות בו טעויות, שאיננו יודעים מראש כיצד לכמת אותן).

האם במצב כזה עדיף להסתכל על יותר מסקר אחד? כנראה שכן, נדון בזה עוד בפוסטים עתידיים.
ובכל מקרה, ראוי להציג את מה שיש באופן ראוי ומדוייק, ועל שני אלו ניתן דגש בחודשים הקרובים שעד לבחירות.

למה אנחנו רוצים סקר עם "מדגם מייצג"? (פוסט על שגיאות שאפשר ושאי-אפשר להציג)

תשובה: כי סקר עם מדגם לא מייצג צפוי לתת תוצאה לא אמינה לגבי תוצאות האמת של הבחירות.

לפני שנמשיך לדווח על סקרים ומטא-סקרים, ברשותכם רציתי לעשות קצת סדר בנושא של "מדגם מייצג ואקראי" ולנסות להסביר אותו (מה שמכונה בשפה הסטטיסטית "הטייה"). נתחיל בקריקטורה מתאימה מהבלוג המקסים דברים שקרו באמת:

Servey1500

מעבר לכך שהקריקטורה מאד חמודה, היא מציגה מצב שבו הסקר מבוצע על האוכלוסייה שלא מייצגת את אזרחי ישראל (אלא רק את חתולי ישראל).

גם בסקרי בחירות עלול מצב כזה (של דגימת אוכלוסיה לא מייצגת) להתרחש, אם הסוקר מתקשה להגיע לאוכלוסייה הצעירה, הערבית, החרדית וכן הלאה (לדוגמא, כי אין לו אפשרות לחייג לטלפונים סלולרים של צעירים, או כי קשה לראיין את האוכלוסיה הערבית ללא סוקר שדובר ערבית).

באופן כללי, בסקרי בחירות יש שני סוגים עיקריים של טעויות סטטיסטיות: טעויות "הטייה" (bias) וטעויות "שונות" (variance). המצב שמוצג בקריקטורה הוא של טעות הטייה. כעת נרחיב קצת על שתי הטעויות.

להמשיך לקרוא

סוקרים שלא יעמדו בחוק הבחירות ייאסרו ל- 6 חודשים – אבל איך גם אנחנו נקבל את הנתונים?

ישראל היום פירסם בחמישי האחרון (עמוד 17), שועדת הבחירות המרכזית הזכירה השבוע לעורכי הסקרים כי בתקופת 90 הימים שלפני הבחירות (שכבר התחילו), סוקרים חייבים להעביר לעיון ועדת הבחירות את ממצאי הסקר לפני פרסומם הפומבי, וכן פרטים על שיטת הדגימה, מספר הנשאלים, שם הגוף המזמין ושל עורך הסקיר, תאריך הסקר, האוכלוסיה שנדגמה, ומרווח הטעות לגבי הנתונים שהושגו.

מה שנשאר לשאול הוא מה צריך לקרות כדי שועדת הבחירות המרכזית תפרסם מאגר מרכזי של כל סקרי הבחירות שבוצעו עם המידע הזה, בפורמט אחיד. (בדומה למה שנחמיה עושה, אבל ממשלתי, מאורגן – ושלם!)

האם ישראל ביתנו איבדה מנדטים בסקרים מהיום שאחרי חשיפת "פרשת השחיתות"?

 

העיתון האינטרנטי Times of Israel פירסם היום את הכותרת הבאה:

"In wake of graft scandal, Liberman down one mandate"
תירגום: בעקבות שערורית השוחד, ליברמן איבד מנדט אחד

ובתוך הטקסט נכתב:

The Maariv survey showed […] Yisrael Beytenu received 5 seats, down from 8, following a massive graft scandal affecting the party which was exposed this week.
תירגום: סקר מעריב הראה שישראל ביתנו ירדה ל-5 מושבים, מתוך ה- 8 שהיו לה קודם לכן, בעקבות השערוריה שנחשפה השבוע.

האם זה מה שהסקרים מלמדים? האם נראה שמפלגת ישראל ביתנו איבדה מנדטים בעקבות פרשת השחיתות שפורסמה השבוע ב- 24 לדצמבר?

אם נסתכל אך ורק על סקר מעריב לפני ואחרי, אז זה אכן נכון שבסקר מעריב משבוע שעבר (ה- 16 לדצמבר), ישראל ביתנו קיבלה 8 מנדטים, ומהסקר השבוע (שפורסם היום, שישי ה- 26 לדצמבר) הם קיבלו 5 מנדטים. האם הירידה הזו "מובהקת"? כלומר – האם יש לנו עדות לכך שהפרש המנדטים הזה הוא מעבר לטעות מקרית?

כן ולא.

אם מסתכלים רק על התוצאות של מעריב מהיום למול התוצאות של שבוע שעבר, אז אכן רואים ירידה מ- 8 ל- 5 מנדטים (ירידה "מובהקת" סטטיסטית). אבל אם מסתכלים על הנתונים של 3 סקרים לפני פריצת הפרשה ו-3 סקרים ביום שאחריה, מקבלים שלפני הפרשה מספר המנדטים היה 8 ואחריה הוא היה (בממוצע) 7.6 (ירידה שאיננה יותר מובהקת).

הנה החישוב המדוייק שבוצע:

להמשיך לקרוא

פרופסור קמיל פוקס בציטוט (קצר) על כך שאין להסתמך על סקר בודד

ציטוט מאת פרופסור קמיל פוקס:

אני מציע להתיחס פחות לתוצאות של כל סקר בנפרד ולבדוק במקום זה מגמות ותוצאות של מספר סקרים ביחד. כי הרי בכל סקר ישנן סטיות מקריות. כאשר מזהים תנודות בין סקר אחד לשני התנודות יכולות להיות עדות למגמה אמיתית או לנבוע מסטיה מקרית.

camil2014-12-25 21_27_33-Clipboard2

הציטוט הגיע לידי בעקבות פגישה מקרית השבוע עם פרופסור קמיל פוקס במסדרונות של אוניברסיטת תל אביב, אשר התפתחה לשיחה ארוכה ומעניינת. בשיחה ציין פוקס את הטקסט הנל שהוא כתב עבור איזשהו ראיון, והסכים לשלוח אלי את צילום המסמך כדי שאשתפו פה בבלוג. תודה רבה פרופ' קמיל פוקס.

עוד ייכתב פה בבלוג על הטיות ושונות. וכמובן, הרעיון של מטא סקר (או סקר-הסקרים או סופר-סקר) הולך להופיע עוד כמה וכמה פעמים. אני שמח שיש אנשים כמו נחמיה (האחראי לפרוייקט 61), אשר מתחילים ליצור סקרים כאלה. אני צופה שנשמע על עוד כאלה ככל שהזמן יחלוף (אצל נחמיה, כאן, ובמקומות נוספים).

ראיון אצל יעל דן בגלי צה"ל, עם ד"ר מינה צמח ואיתי

 

אז היום בצהריים (24/12/2014 בשעה 12:30), רואיינתי בתוכנית של יעל דן בגלי צה"ל, על ידי מראיינת נעימה בשם גלית. אפשר להאזין לתוכנית כאן, החל מדקה 34 (וקצת). אחרי הראיון איתי העלו לשידור את ד"ר מינה צמח שאמרה מספר דברים (שחלקו על דברי). אני מביא כאן תמלול של מה שנאמר, ולאחר מכן את תגובתי.

להמשיך לקרוא

מה סוקרים צריכים לפרסם לפי החוק

נחמיה גרשוני-איילהו העלה סטטוס בדף הפייסבוק של פרוייקט 61 עם הטקסט הבא:

חוק הבחירות (דרכי תעמולה) מחייב פרסום מידע חשוב ומפורט על כל סקר שנערך ופורסם לציבור. החוק מחייב כל גוף שמפרסם סקר לפרסם תוך 24 שעות את הנתונים הבאים:
(1) שמו של הגוף שהזמין את הסקר;
(2) שמו של הגורם שערך את הסקר;
(3) התאריך או התקופה שבה בוצע הסקר;
(4) האוכלוסיה שמתוכה נלקח מדגם המשיבים לסקר;
(5) מספר האנשים שהתבקשו להשתתף בסקר ומספר האנשים שהשתתפו בו בפועל;
(6) מרווח הטעות לגבי הנתונים שהושגו.

בנוסף, החוק מחייב את הסוקר עצמו, להעביר "בהקדם האפשרי" לועדת הבחירות המרכזית לצורך עיון הציבור גם את המידע הבא:
(1) את הנתונים שהוזכרו לעיל.
(2) מידע על השיטה שהשתמשו בה כדי לאסוף את הנתונים שמהם הופקו תוצאות הסקר, לרבות:
(א) שיטת הדגימה;
(ב) גודל המדגם ההתחלתי;
(ג) סוגי האוכלוסיה שנדגמו;
(ד) מספר האנשים שהתבקשו להשתתף בסקר והמספר והאחוז מהם אשר השתתפו בסקר בפועל, סירבו להשתתף בסקר או לא התאימו להשתתף בסקר;
(ה) התאריכים והשעות של הראיונות;
(3) מרווח הטעות לגבי הנתונים שהושגו.

לקריאת החוק:
http://www.nevo.co.il/law_html/Law01/190_003.htm#Seif38

פנינו לוועדת הבחירות המרכזית לקבלת נתוני עבר מהבחירות לכנסת ה-19, והובהר לנו שמעט מאוד סוקרים שיתפו פעולה עם החוק, חרף פניה מפורשת של השופט אליקים רובינשטיין על הנושא.

נחמיה מפעיל את משקלו בכותבו:

בהתאם לכך, ומכיוון שמרבית הסוקרים לא עומדים בחובתם לציבור לפרסם את נתוני הסקר המלאים (למיטב ידיעתנו, הפרופסור קמיל פוקס – דיאלוג – הוא היחיד שפרסם לציבור את הנתונים האלה), אי פרסום מידע יוריד את ציון הסוקרים.

פרויקט 61 דוגל בשקיפות, ובהתאם יפרסם כל מידע שיוכל על נתוני הסקרים ברגע שיעמדו לרשותו.

אם למישהו כאן יש רעיון איך אפשר לקדם את חזון המחוקק של מאגר מרכזי של תוצאות סקרי בחירות, אשמח לקרוא את דעתכם.

מתי סקר הוא "סקר רע"?

 

משפט שאנשים רבים מצטטים הוא שקרים, שקרים ארורים, וסטטיסטיקה. הבלוג הזה לא מאמין במשפט הזה. הבלוג הזה מאמין שנכון שקל לשקר עם סטטיסטיקה, אך זה קשה מאד למצוא את האמת בלעדיה.

התשובה לשאלת הבלוג "סקר רע?" היא "לא, אבל…".

סקרים אינם רעים, אבל פעמים רבות ההצגה שלהם בתקשורת היא רעה בכך שהסקר לא מגיע עם מידע חשוב לגבי איך שהוא בוצע, וההצגה הוויזואלית שלו מקשה על הקורא להבין את מגבלות הסקר.

הבלוג הזה לא צפוי לעסוק בסקרים אשר שוגים במתודולוגיה הסטטיסטית שלהם (כותב הבלוג הזה מאמין שעד שלא הוכח אחרת, חברות הסקרים הן מקצועיות, אתיות, אמינות ועושות עבודה טובה), אלא בעיקר בסקרים שההצגה שלהם בתקשורת היא "רעה".

היות והמילה "רע" היא מילה טעונה ריגשית שאנשים שונים צפויים לפרש ולקשר בדרכים מאד שונות לפי ההקשר. בבלוג הזה, הרשו לי לדבר על כמה משמעויות שונות.

מתודולוגיה

סקר יכול להיות רע מתודולוגית. סקר רע מתודולוגית הוא סקר שנכשל בתיאור האוכלוסיה שמעניינת אותנו (אוכלוסיית הבוחרים בישראל) בגלל שהשיטות הסטטיסטיות אשר שימשו אותו אינן מתאימות. לדוגמא, סקר שהדגימה בו אינה אקראית אלא רק של החברים שלנו הוא סקר שסביר שייכשל בייצוג אוכלוסיית הבוחרים. דוגמא אחרת היא סקר שבו יש אחוז גבוה של אי-השבה, ושהתוצאות היחידות שמוצגות הן של האנשים שהשיבו לשאלון (ללא התייחסות לאי-ההשבה), סביר שיהיה סקר מוטה. כמובן שסקר שנעשה באופן לא אתי, ומציג רק את הדעות של מזמין הסקר צפוי להיות סקר מוטה ורע ביותר.

עלי להדגיש שבבלוג הזה יהיה מאד נדיר שאדבר על סקרים שהם רעים מתודולוגית. זה משום שלרוב אין לנו את המידע הדרוש בשביל לזהות סקרים שגויים מתודלוגית. אי לכך, בבלוג זה, נניח שהסוקרים הם אנשים מקצועיים ואתיים שעושים עבודה איכותית וטובה.

תוצאות

סקר יכול להיות תקין לחלוטין מתודולוגית, אבל עדיין להביא תוצאות לא מספקות (להביא תוצאות רעות). תוצאות רעות הן תוצאות אשר "רחוקות" מהמציאות, למרות שתיכנון הסקר היה חכם ותקין מקצועית.

זה יכול לקרות אם אין לסקר מספיק נבדקים בשביל לענות על השאלה שמעניינת אותנו (בשפה מקצועית זה אומר שהשונות של הסקר גדולה), או שהנבדקים שלסוקר יש אפשרות לדגום אינם מייצגים את האוכלוסיה בגלל אופן הדגימה (בשפה מקצועית – הטייה. לדוגמא, אם לסוקר אין יכולת לדגום מהאוכלוסיה הערבית או החרדית). גם ייתכן שלמרות מאמצי הסוקר המדגם של הסקר יצא במקרה רחוק מהעמדות של האוכלוסיה (דבר שתמיד עלול לקרות כאשר דוגמים תת קבוצה של אוכלוסיה).

בכל המצבים הללו, הסקר לא מביא תוצאות נכונות, אפילו שהסוקר הקפיד על שיטות סטטיסטיות נכונות. עם זאת, כאשר הסוקר עושה עבודה טובה, הסיכוי לתוצאות רעות הוא יחסית נמוך (ועל איך מודדים תוצאה רבה אפשר לדבר הרבה, וכרגע לא נרחיב על כך)

שקיפות

סקר הוא רע מבחינת שקיפות כאשר הוא מפורסם ללא מידע מספק על הדרך שבה הוא בוצע. לדוגמא: מה היו השאלות שהופיעו בסקר, כמה אנשים בסקר נמנעו מלהשיב לסקר, מידע על הדמוגרפיה של המשיבים שהופיעו בסקר, מי הזמין את הסקר, האם היו אוכלוסיות שלא נדגמו (לדוגמא, ערבים או חרדים) וכן הלאה.

לצערי, סקרים רבים שמוצגים בתקשורת מגיעים ללא המידע הזה. אציין לטובה את פרופסור קמיל פוקס אשר מפרסם סקרים עם הרבה מהמידע הרלוונטי על אופן ביצוע הסקר, ואופי האוכלוסיה ותשובותיה. (הערה לקוראים: אם יש לכם דוגמאות לסוקרים אחרים שעונים לכללי השקיפות, אשמח לקישורים ולציין אותם לטובה)

למען הגילוי הנאות: אני מכיר את פרופסור פוקס דרך לימודי באוניברסיטת תל אביב, אך אין לי איתו יחסי עבודה.

תקשורתית

סקר יכול להיות תקין מתודולוגית, להגיע לתוצאות סבירות ולהיות שקוף – ובכל זאת לא להיות מוצג טוב בתקשורת. זה יכול להתרחש בגלל טעויות בשלב יצירת הגרפים (לדוגמא שהעמודות לא קשורות למספר המנדטים), אבל גם אם המידע החשוב איננו מוצג בצורה נגישה לציבור הרחב (לדוגמא – על ידי הצגת טווח המנדטים בהתאם למידת הדיוק של הסקר) אז הצגת הסקר היא, לדעת כותב הבלוג, רעה.

צורך סובייקטיבי

הדבר החשוב ביותר בהסתכלות על סקר הוא האם אנו מאמינים שהסקר מצליח לענות על השאלה שחשובה לנו. סקר הוא רע (סובייקטיבית) אם הוא סקר שלא עונה על שאלות שמעניינות אותנו.

לדוגמא, אפשר לבנות סקר על סמך 10 אנשים. הסקר יכול להיות תקין לחלוטין מתודולוגית, ולהיות מוצג עם כל השיטות התקפות, ובאופן מדוייק ושקוף בתקשורת. אבל רוב הסיכויים שהסקר לא יהיה בעל מספיק מידע כדי לענות על שאלות שמעניינות אותנו לגבי מצב הבחירות.

לפי זה, כל מיני סקרים שנראה לקראת הבחירות צפויים להיות סקרים רעים סובייקטיבית. לא בגלל שהם לא נעשים באופן תקין סטטיסטית (נהפוך הוא, חברות הסקרים העיקריות הן מקצועיות ומעולות!), אלא בגלל שאף אחד מהסקרים בפני עצמן לא יעזרו לענות לנו על השאלות שמעניינות אותנו.

לדוגמא, במערכת הבחירות הקרובה היינו רוצים לדעת למי יהיו יותר מנדטים, לעבודה או לליכוד. וכבר בפוסט הקודם ראינו שההפרש בין המפלגות (על סמך רמת הדיוק של הסקר) יכול להיות בין 2 מנדטים לטובת הליכוד ועד 4 מנדטים לטובת העבודה. שאלה נוספת שתעניין אותנו היא האם יהיה רוב לגוש "שמאל-מרכז", אבל בשביל זה היינו רוצים שתוצאות הסקר שמוצגות יכללו את כל המפלגות, ולא רק את הגדולות ביותר.

מה היו הופך את סקרי הבחירות לסקרים טובים? (הרשימה הבאה היא שאיפה לא ריאלית, אבל זה מה שהיינו רוצים לדמיין שיקרה)

  1. אם הסקרים היו כוללים מספיק נשאלים: צריך כ- 10,000 נבדקים בשביל טעות מדידה של כ- 1.2 מנדטים. אבל בשביל שאלות יותר ממוקדות אפשר להסתפק גם בפחות נבדקים.
  2. אם הסוקרים יצליחו לתקן הטיות שונות: החל מנשאלים שלא משיבים, וכלה במשיבים שמשקרים לסוקר (וידוע שהסוקרים עושים הרבה מאמצים להצליח בכך)
  3. אם הסקר יוצג באופן מלא ומדוייק: עם כל המפלגות וגרפים שכוללים (לפחות) את טווחי השגיאה הצפויים של המנדטים לכל מפלגה (מה שאפשר לכנות קווי-שגיאה)
  4. שהסקר יגיע עם מידע על מידת האמינות שלו: (לכל הפחות) מה היה אחוז הלא משיבים, ובאיזה מידע השתמשו בשביל להתמודד עם זה.
  5. שהסקר יתייחס לאחוז המתלבטים, ולסוגים השונים של אופציות שהם רואים לעצמם (מה שיאפשר לנפח את אי הוודאות לגבי המפלגות הללו).
  6. שהסוקר יודיע לגבי האם הוא "תיקן" את תוצאות הסקר בהתאם לסקרים אחרים. ואם כן, באיזה סקרים הוא השתמש. המידע הזה חשוב כשעושים מטא-סקר, כדי שנדע איך להגדיל את טווח השגיאה שלנו (בהתאם לכך שיש תלות בנתונים)
  7. שהסקר יגיע עם מידע על האינטרסים של הסוקר (מי הזמין את הסקר, מי היו הלקוחות בשנה האחרונה וכו').

זה טיבעי להחליט האם להצביע למפלגה לפי האם היא תהיה המפלגה המובילה בכנסת או האם היא תעבור את אחוז החסימה. גם כשעושים הכל "לפי הספר", קשה מאד לענות על השאלות הללו. בשבועות הקרובים ננסה לעשות כמיטב יכולתנו עם הנתונים שיגיעו, ואני מזהיר מראש שכל התשובות שלנו יתבססו על הרבה הנחות (שלא סביר שנוכל לדעת אם הן נכונות או לאו).

להמשיך לקרוא