פוסט מורטם – מרחק הסקרים מתוצאות האמת

התחלתי את האתר סקר רע לפני כשלושה חודשים במטרה לעודד הצגה תקינה של סקרים בתקשורת, ולדון ביתרונות והמגבלות של כלי זה בפוליטיקה הישראלית. בפוסט זה אני לא אדון בפוליטיקה של הדבר, אלא אציג את הסקרים ברגע האחרון למול תוצאות האמת, כדי שנראה מה בהם יצא דומה ושונה.

אתמול אזרחי ישראל יצאו להצביע בהמוניהם (71.8%, אחוז ההצבעה הגבוה מאז 1999). ביום שישי פירסמתי פוסט שמסכם את תוצאות הסקרים בשבועיים של עד לפני הבחירות, כדי להדגים מה הסקרים "רואים" נכון ללפחות מועד פירסומם האחרון. הנה הצגה של תוצאות האמת (נכון ל- 99% קלפיות שנספרו), למול חציון תחזיות הסוקרים על פני השבועיים שלפני הבחירות:

2015-03-20 10_04_34-Clipboard

אפשר להבחין בשלושה הבדלים משמעותיים:

  1. הליכוד זינק מ- 22 מנדטים ל- 30. סביר שאלו 4 המנדטים של הבית היהודי ושאר ה-4 מנדטים, זה כנראה פיזור יותר מרוכזהיו הליכוד זכה היה סחף משמעותי של קולות מהבית היהודי לליכוד.
  2. הבית היהודי איבד 4 מנדטים מ- 12 ל- 8
  3. מפלגת יחד לא הצליחה לעבור את אחוז החסימה וקרסה מ-4 ל-0 מנדטים (היא זכתה רק ל- 2.98%, כשסף המטרה היה 3.25%). זה פיזר עוד 4 מנדטים מסביב (כאשר יותר מריכוז הקולות שנותרו הלך כנראה לליכוד).

למרות ההבדלים – התוצאות יצאו קרובות מאד. דרך פשוטה לתאר את הקשר זה עם הקורלציה של פירסון (נתעלם מסוגיות התלות וכו' של נתונים מנדטים), מקבלים קורלציה של 0.949 (זה כמעט זהה לתוצאות של תחזית אחד הסקרים עבור תוצאות הבחירות ב-2013 – שם הקורלציה הייתה 0.949). דרך נוספת היא לקחת את ממוצע הפרש הערך המוחלט של המנדטים – שהוא 1.8. להלן תרשים פיזור המציג את הקשר הלינארי בין תחזיות הסקרים לבין תוצאות האמת (סימנתי את שלושת המקרים הקיצוניים בנקודות אדומות):

2015-03-20 10_04_54-Clipboard

 

האם יכולנו לחזות מראש את התוצאות שקיבלנו?

כן ולא.

כן:

מצד אחד, את התוצאות של רוב המפלגות הסקרים הצליחו לחזות מאד מדוייק.

במקרה של מפלגת יחד, היה ברור שהיא כל הזמן על סף החסימה (4 מנדטים), ולכן הסיכון שהיא לא תיכנס היה ברור (למרות שבכל הסקרים בשבועיים שלפני היא הצליחה להכנס לכנסת).

לא:

את מעבר הקולות מהבית היהודי לליכוד היה אפשר להתחיל לראות בשבוע שלפני הבחירות, אם היינו מסתכלים על מגמות הסקרים של השבוע האחרון:

2015-03-18 15_15_13-Clipboard

 

אבל אני לא יכול לטעון שהמגמה שראינו הייתה כל כך קיצונית שמראש היה ברור שלשם אנו הולכים (היו מגמות עליה גם למחנה הציוני ולכולנו של כחלון – והם בסוף נשארו בטווח שנחזה מראש).

האם הסקרים פיספסו תופעה שכבר הייתה קיימת? אישית, קשה לי להאמין בזה. יותר סביר בעיני שהקמפיין של נתניהו בימים האחרונים הוא זה שעשה את העבודה.

עבורי, תוצאות כאלה הן תזכורת רועמת על כך שכאשר משתדלים לחזות את התנהגותם של אנשים, תמיד יש מקום לענווה רבה.

והערה קטנה לגבי סקרי דעת הקהל ביציאה מהקלפיות: אין לי מושג מדוע בהן היה 27 לליכוד ולמחנצ, כשבפועל היה כזה פער. את זה אני באמת שלא מבין, ומחכה להארות מהסוקרים.

7 תגובות בנושא “פוסט מורטם – מרחק הסקרים מתוצאות האמת

  1. Yuval

    הציבור השפוי אמר את דברו.
    הציבור שלא נכנע לשטיפות מוח והסתה.
    הציבור שמבין ש"פשוט מחליפים" היא סיסמה נבובה וחשוב גם "במי מחליפים".
    הציבור שמבין שבוז'י הוא לא אלטרנטיבה.
    הציבור שמבין שלעטוף מועמד ב"לא ביבי" ולהריץ כך קמפיין שלם זו לא אידיאולוגיה.

    זהו יום חג. נקבל ממשלה יציבה עם מפלגת שלטון רחבה ושלא נכנעת לשטויות של קריין חדשות.

    תחייכו. ביבי הוא לא השטן כפי שהתקשורת מנסה לצייר אותו. באמת.

    1. טל גלילי מאת

      היי יובל,
      אני מנסה להרחיק את סוגיית העמדה הפוליטית מהדיון בבלוג הזה.

      עניינית – אני מאחל לכולנו רק טוב בממשלה הבאה…

  2. פיליפ

    תשובה אפשרית לשאלה האחרונה- הסוקרים מזוהים עם השמאל. מספיק ש10% ממצביעי ליכוד כועסים עליהם מספיק או חומדים להם לצאן כדי לקבל את התוצאות שראינו.
    היה מעניין לראות סקרים המזוהים עם הימין, אבל אין כאלו.

  3. daliagh

    ראשית, הוספת טווח טעות הדגימה של הסקרים חסרה להערכתי. שנית, סקר אינו יכול לנבא התנהגות בזמן אמת או כל תופעה עתידית אחרת ובכך חולשתו. שלישית, על הסקרים עונה מדגם ספציפי ומוטה מאד (נכונות להשיב מלכתחילה לסוקר, ולענות אמת בין השאר) ולכן הם מצביעים על מגמה כללית בלבד.

  4. אייל בר סלע

    השימוש במדד פירסון בכדי לטעון שהתוצאות יצאו קרובות מעידה על עניותו של המדד במקרה הזה. כי הסקרים והניתוחים הסטטיסטיים נועדו לחזות את התוצאות, ו*בפועל* אנשים נשארו פעורי פה (כולל הסוקרים עצמם) מטעות של 8 מנדטים. מכאן שלהגיד שמדד פירסון היה גבוה זה לא רלנווטי, כי כנראה שהוא צריך להיות "יותר גבוה" כדי שהכלים יענו על המטרה שלהם.
    לחלופין יכול להיות שהניתוחיםבעתיד צריכים להיות יותר חכמים ולכלול תסריטים נוספים…?

  5. יעקב

    היי טל,
    יכול להיות שזה נעשה בכוונה על ידי הימין?כלומר, איך נבחר המדגם המייצג?האם ניתן לנחש מאיפה האוכלוסיה תיבחר ובכך להשפיע עליה? איך בכלל בודקים שהמדגם באמת מייצג את כלל האוכלוסיה (מעבר לבחירה בכמות גדולה של אנשים).

  6. פינגבאק: התחלנו עם 27-27 סיימנו עם 24-30 | סקר רע?

השאר תגובה