האם סטטיסטיקה עוזרת לנו לגלות את גורמי השורש לתקלות או שהיא משבשת את החשיבה?

המאמר נעזר בספר סטטיסטיקה עירומה (בהוצאת ספרי עליית הגג. ידיעות אחרונות. ספרי חמד)
בסיום תמצאו קישור לרשימת מאמרים בנושא כלים לזיהוי גורמי השורש של תקלות.

"ישנם שלושה סוגים של שקרים: שקרים, שקרים גסים וסטטיסטיקה" (מארק טוויין. עמ' 67 בספר הנ"ל).

במאמר אני אשאיר יותר שאלות פתוחות לחשיבה מתשובות, אך לקראת סופו אתן המלצה חד משמעית.

האם זיהינו את גורם השורש - האינטואיציה מול הסטטיסטיקה

לפני שבועיים, במאמר על זיהוי גורמי השורש לתקלות, הצעתי את הבדיקה הסטטיסטית כאחד הכלים לזיהוי גורמי השורש במקרים מסוימים. לענין זה הבאתי את הדוגמה הבאה:

באחת החברות היו מדי פעם בעיות משמעותיות במוצר. הפרדיגמה אמרה שמקור הבעיה היא בחומר גלם מסוים.

מנהלת המפעל ביקשה להחליף את הספק של חומר הגלם ומהרכש נמסר לה, שהנושא כבר נבדק וחומר גלם מספק אחר יהיה יותר יקר.

בצעד הבא ביקשה המנהלת לבחון את עלות הנזק לעומת העלות של רכישה מספק אחר.

בחינה סטטיסטית מקיפה על כל סדרות היצור במהלך כמה שנים אחורה העלתה הפתעה.

מקור התקלה אינו הספק או חומר הגלם המסוים.

לאחרונה, התקיים דיון בצוות השיפור על תקלה חוזרת וסוניה קשרה אותו לספק חומר הגלם.

מיד קפצו כמה מהמשתתפים והזכירו לה את הבדיקה הסטטיסטית שהראתה שאין קשר בין ספק חומר הגלם והתקלה.

סוניה נפנפה בידה לאות ביטול ואמר שהיא חושבת אחרת: "ספק חומר הגלם הוא המקור לתקלה". והוסיפה שהיא לא מקבלת את הבדיקה שנעשתה.

סטטיסטיקה או אינטואיציה?

הטענות לזכות הסטטיסטיקה:

חנה, מהנדסת התהליך שערכה את הבדיקה הסטטיסטית, לא יצאה מהנחת מוצא והוכיחה את נכונותה. לו זה היה המקרה, אולי אפשר היה לחשוד בממצאים. אלא היא הפריכה את הנחת המוצא שהייתה לה ומצאה כיוון שונה.
הבדיקה נעשתה על כלל האוכלוסייה של אצוות היצור ולא על מדגם מייצג.
בבדיקה המשך שחנה עשתה, היא זיהתה גורם אחר כגורם השורש לתקלה המסוימת.

הטענה היחידה לזכות האינטואיציה:

סוניה עובדת במפעל יותר מעשרים שנה. היא עובדת מצוינת ומה שהיא חשה באצבעותיה, שום סטטיסטיקה לא תגלה.

אז היכן הצדק?

מחד, סוניה אינה מהנדסת ואפשר לזלזל באינטואיציה שלה.

מאידך, עם השנים למדתי לתת משקל רב למה שאומרים העובדים. לאינטואיציה שלהם.

לכן הלכתי לקרא בספר סטטיסטיקה עירומה (Naked Statistics) מאת צ'ארלס וילן (Charles Weelan).

כולם מכירים את הסיפור הדימיוני על איש בגובה שני מטר שטבע בבריכה שעומק המים הממוצע בה היה חצי מטר.

הסיפור הזה בא לומר שממוצע סטטיסטי יכול מאד להטעות.

פרשנות שונה לאותם נתונים עלולה להביא למסקנות שונות

"האם הגלובליזציה מקטינה או מגדילה את חוסר השוויון הקיים בהכנסות?
לפי פרשנות אחת הגלובליזציה רק החמירה את חוסר השוויון בהכנסות: מדינות שהיו עשירות יותר ב-1980 [...] נטו לצמוח מהר יותר בשנים 1980 – 2000 בהשוואה למדינות עניות יותר.
[...]
אבל חכו רגע. את אותם נתונים אפשר (וצריך) לפרש לגמרי אחרת אם משנים את יחידת הניתוח. לא אכפת לנו ממדינות עניות, אכפת לנו מאנשים עניים. ושיעור גדול מהאנשים העניים בעולם חיים במקרה בסין ובהודו. אלה שתי מדינות עצומות [...] ושתיהן היו עניות יחסית ב-1980.
לא רק שסין והודו צמחו במהירות בעשורים האחרונים, הצמיחה הזאת באה להן במידה רבה, בזכות השתלבות מוגברת בכלכלה העולמית.
[...]
אם המטרה שעומדת לנגד עינינו היא להקל על המצוקה האנושית, הרי שאין שום היגיון לתת לסין (עם אוכלוסיה של 1.3 מיליארד) אותו משקל כמו למאוריציוס (עם אוכלוסיה של 1.3 מיליון) כשאנחנו בוחנים את השפעת הגלובליזציה על העוני.
יחידת הניתוח צריכה להיות אנשים ולא מדינות" (שם עמ' 73, 74).

המחבר מציב לנו סימן אזהרה מפני פרשנות שגויה של נתונים סטטיסטים.

משתנים מתערבים

סיפרתי כאן פעם על אחד הבנים שלי שבילדותו אמר שהוא רוצה לשחק כדור סל, כדי להיות גבוה. כי שחקני כדור סל הם גבוהים.

שלושה מבני עברו את הגובה של מטר שמונים. אך, כמובן, שזה לא בגלל ששיחקו כדור סל בילדותם ונערותם. מה גם שאחד מהם בכלל שיחק כדורגל.

בני, כשהיה ילד, הפך את הסיבה והמסובב.

צ'ארלס וילן, מביא בספר דוגמה דומה ויותר מורכבת: "יכול להיות שבריאות הלב "גורמת" להתעמלות? כן, אנשים לא בריאים, בייחוד אלה שמתחילה להתפתח אצלם מחלת לב יתקשו הרבה יותר להתעמל. קרוב לוודאי שהם ייטו הרבה פחות לשחק סקווש על בסיס קבוע. שוב, אם הניתוח שלנו רשלני או פשטני מדי, הטענה שההתעמלות טובה לבריאות עשויה פשוט לשקף את העובדה שאנשים לא-בריאים מלכתחילה מתקשים יותר להתעמל. במקרה כזה משחק הסקווש לא משפר את הבריאות, אלא פשוט מבדיל בין הבריאים ללא-בריאים" (שם עמ' 259, 260).

אז סטטיסטיקה היא כלי טוב או לא טוב לזיהוי גורם השורש לתקלות?

המחבר הוא מומחה בסטטיסטיקה ויחד עם זאת מזהיר משורה של טעויות והטעיות שנעשות בעזרתה.

וילן מסביר כלים סטטיסטיים שמטרתם לבדוק עד כמה הקשר בין שני משתנים יכול להסביר השפעה של משתנה אחד אחד על המשתנה השני, או שיש גורמים מתערבים נוספים.

למשל האם שחקני כדור סל הם גבוהים כי הם משחקים כדור סל, או שהם משחקים כדור סל כי הם גבוהים.

כדי לא לשעמם את מי שהמתמטיקה פחות מעניינת אותו, לא אכנס כאן להסברים הסטטיסטים והכלים שהוא מציג.

לעצם העניין חשוב לנו לדעת האם ניתן לזהות את גורם השורש לתקלה מסוימת בעזרת הסטטיסטיקה או לא.

עד כמה אנחנו יכולים לסמוך על ממצאים של מדגמים שונים והנתון בכלל האוכלוסיה.

המחבר כותב כך: "הלקח [...] הוא שהטעיה סטטיסטית לא כרוכה בהכרח בשגיאות מתמטיות. נהפוך הוא, חישובים מרשימים עשויים לכסות על מניעים פסולים" (שם עמ' 94).

הבחינה הסטטיסטית של חנה או האינטואיציה של סוניה?

אני למדתי שאין ערוך לידע ולמידע של עובדים שנמצאים לאורך שנים באותו מקום.

לא פעם המידע והידע הזה אינם מפורטים אלא באים לביטוי כאינטואיציה בריאה של העובדת או העובד.

בדוגמה למעלה זו האינטואיציה של סוניה.

מאידך, הבדיקה הסטטיסטית של חנה הפריכה פרדיגמה שהאמינו בה כמה שנים.

התוצאה שחנה הגיעה אליה הפריכה גם את מה שחנה באה לבדוק. כלומר, היא לא אישרה את הנחת המוצא שהייתה לה לפני הבדיקה – שאז יכולנו אולי לחשוד במהימנות הנתונים.

חנה לא בחנה מדגם אלא את כלל האוכלוסיה של מנות היצור.

יתר על כן, בבדיקה סטטיסטית נוספת היא מצאה קשר לגורם שכן יש לו השפעה על התקלה שנבדקה.

קודם היא שללה גורם אחד ואחרי אישרה גורם אחר.