בקיצור
- WER סופר החלפות, השמטות והוספות מול תמליל ייחוס שנבחר מראש.
- התוצאה משתנה לפי כללי כתיב, נרמול, חלוקת מילים והחומר שעליו נבחנה המערכת.
- שיוך דוברים, חותמות זמן, קטעים חסרים, שמות ואיכות הייצוא דורשים בדיקות נפרדות.
- המבחן השימושי ביותר הוא אוסף קבוע מהעבודה שלכם, עם נוהל בדיקה שאפשר לחזור עליו.
1. מה WER באמת מודד
שיעור שגיאות במילים, WER, משווה בין פלט המערכת לבין תמליל ייחוס אנושי. הוא סופר מילים שהוחלפו, הושמטו או נוספו, ומחלק את הסכום במספר המילים בתמליל הייחוס. בתוכניות ההערכה של NIST משתמשים בכלי ניקוד אחידים, מפני שגם מדד שנראה פשוט תלוי בכללי הכנה והשוואה עקביים.1
המדד מצוין לניסוי מבוקר: אותו אודיו, אותו תמליל ייחוס ואותם כללי נרמול. הוא מתחיל להטעות כאשר מערכת אחת משמיטה מילות מילוי, אחרת שומרת אותן, תמליל אחד כותב שם לועזי באנגלית ואחר מתעתק אותו לעברית. המספר לא בהכרח שקרי; ייתכן שההשוואה פשוט עונה על שאלה אחרת.
2. חומר הבדיקה יכול להזיז את התוצאה יותר מהמודל
קריאה מטקסט מול מיקרופון קרוב אינה תחליף לשיחת שירות, לאולם הרצאות או לארבעה אנשים סביב מחשב נייד. מאמרים על מודלים רב־לשוניים מדווחים בנפרד על תחומים ושפות מפני שההתנהגות משתנה—ולכן מחקר אחראי מציג את מאגר הבדיקה ואת התנאים ליד הציון.2
בעברית ובערבית השוואה רשלנית נשברת מהר במיוחד. בחירות כתיב ופיצול משנות את היחידה שנספרת; ניב, החלפת שפה וכמות הדיבור הספונטני משנים את רמת הקושי. HebDB נבנה כדי להרחיב את מאגרי הדיבור הטבעי בעברית, ומחקר על ערבית מעורבת באנגלית מתייחס במפורש לדיבור ניבי, עשיר מורפולוגית ולא אחיד בכתיב כבעיה נפרדת.34
3. מה ציון WER אחד לא מספר
WER אינו מספר אם המילים הנכונות שויכו לאדם הנכון. הוא לא מגלה אם התזמון זז, אם דקה נעלמה אחרי ניסיון העלאה חוזר או אם שורת כתוביות יצאה מחוץ לשטח הבטוח. הוא גם נותן אותו משקל לה״א חסרה ולמינון תרופה שגוי.
בעבודה אמיתית כדאי למדוד לפחות שישה דברים: אודיו חסר, מילים, שיוך דוברים, שמות ומספרים, תזמון וזמן תיקון אנושי. אם התוצר הוא מסמך או כתוביות, מוסיפים גם נאמנות בייצוא. כך ״דיוק״ מפסיק להיות שם תואר והופך לבדיקה שאפשר לבקר.
4. מבחן שגם צוות קטן יכול להריץ ביושר
בוחרים אוסף קבוע שמייצג את העבודה: נקי ורועש, קצר וארוך, דובר יחיד וכמה דוברים, וצירופי השפות שהלקוחות באמת מדברים. שומרים את קובצי המקור, תמלילי הייחוס, הגדרות המוצר ותאריך כל הרצה.
אם אפשר, הבודק לא יודע איזו מערכת יצרה כל פלט. סופרים כשלים לפני שמלטשים את הטקסט. לצד המדד המכני רושמים כמה דקות נדרשו כדי להגיע לקובץ שאפשר לפרסם. חוזרים על המבחן אחרי שינוי מהותי במודל או בתהליך, בלי להחליף בשקט את הקבצים הקשים בקלים יותר.
5. כך נראית טענת דיוק שאפשר להגן עליה
טענה רצינית מציינת שפה, תחום, מאגר, תנאי אודיו, מדד, כללי נרמול, גודל מדגם, גרסת מודל או מוצר ותאריך מדידה. היא גם אומרת מה לא נבדק. בלי ההקשר הזה, ״99% דיוק״ הוא סלוגן, לא ממצא שאפשר לשחזר.
ההשוואה ש-KolWrite ממליצה עליה פשוטה בכוונה: מעלים לכל כלי אותו חומר קשה, בודקים מול האודיו את המילים והדוברים החשובים, משלימים את הייצוא שבאמת צריך ומודדים כמה עבודה נשארה. זה פחות דרמטי ממספר אוניברסלי והרבה יותר מועיל למי שצריך לבחור.
שאלות שחוזרות
מה פירוש ״95% דיוק״ בתמלול?
בלי הגדרה של המאגר והמדד, כמעט כלום. זה יכול להיות חמש שגיאות לכל מאה מילות ייחוס לפי נרמול מסוים, וזו יכולה להיות הערכה לא פורמלית. צריך לבקש את תנאי הבדיקה.
שני כלים יכולים לקבל WER שונה על אותו אודיו?
כן, אם השתמשו בתמלילי ייחוס או בכללי נרמול שונים לפיסוק, מספרים, מילות מילוי, מילים מחוברות או כתיב. השוואה הוגנת קובעת את הכללים לפני הניקוד.
מה מודדים חוץ מ-WER?
קטעים חסרים, שיוך דוברים, שמות ומספרים, תזמון, מבנה כתוביות, נאמנות הייצוא, שיעור כשלים והזמן האנושי שנדרש כדי לסיים את העבודה.
מקורות וקריאה נוספת
המחקרים והתקנים שעליהם נשען המאמר. כל קישור מוביל לפרסום המקורי.
- 1 NIST — Open Speech Analytic Technologies Pilot Evaluation Plan
- 2 Radford et al. — Robust Speech Recognition via Large-Scale Weak Supervision
- 3 Turetzky et al. — HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
- 4 Hamed et al. — Dialectal Arabic-English Code-Switching Speech Recognition
- 5 Chi & Bell — Improving Code-switched ASR with Linguistic Information