מילון מונחי תמלול וכתוביות בשפה פשוטה

אילו מונחים מתארים הפיכת דיבור לטקסט?

ASR (ראשי תיבות של Automatic Speech Recognition, זיהוי דיבור אוטומטי) היא הטכנולוגיה שהופכת אודיו מוקלט לטקסט. ביומיום קוראים לזה פשוט 'דיבור לטקסט' (Speech to Text). תמלול הוא המשימה הרחבה יותר. התמליל עצמו הוא המסמך הכתוב, שלרוב מוסיפים בו למילים שזוהו גם חלוקה לדוברים, זמנים וסימני פיסוק.

מודל הוא המערכת המאומנת שמזהה את הדיבור בפועל, ונתוני אימון הם מאגרי האודיו והטקסט שמהם היא למדה. מודל אקוסטי מחבר בין צלילים ליחידות דיבור. מודל שפה מחשב איזה רצף מילים נשמע סביר יותר, וככה עוזר למערכת לבחור ביטוי הגיוני במקום צירוף מילים מוזר. מערכות חדשות כבר משלבות בדרך כלל את כל התפקידים האלה במודל אחד.

פענוח (Decoding) הוא החיפוש אחרי רצף המילים הכי סביר עבור קטע אודיו מסוים. ציון ביטחון (Confidence Score) הוא מספר שהמערכת נותנת לניחוש של עצמה. זה רק רמז, לא הבטחה. הזיה (Hallucination) קורית כשהמערכת ממציאה טקסט שוטף שבכלל לא נאמר בהקלטה, תופעה שיכולה לקרות בקטעי שקט או כשאיכות השמע גרועה. זו אחת הסיבות שחייבים לעבור על טקסט אוטומטי ולבדוק אותו.

אילו מונחים מתארים רמת דיוק?

המדד WER (ראשי תיבות של Word Error Rate, שיעור שגיאות במילים) משווה את התמליל שיצא מול תמליל ייחוס. הוא סופר כמה מילים הוחלפו, נשמטו או נוספו, ומחלק את סך השגיאות במספר המילים שבתמליל הייחוס. החלפה היא מילה שגויה שנכנסה במקום המילה הנכונה, השמטה היא מילה שחסרה, והוספה היא מילה מיותרת שהשתרבבה לטקסט. המדד CER (שיעור שגיאות בתווים) עושה את אותו החישוב בדיוק אבל סופר תווים בודדים, ומשתמשים בו בשפות ובמערכות כתב שבהן הגבול בין מילה למילה לא תמיד ברור.

תמליל ייחוס (Reference Transcript) הוא הטקסט המדויק והבדוק שמולו מודדים את התוצאה. נרמול (Normalization) הוא שלב ההכנה שמיישר קו בין שני הטקסטים לפני הספירה כדי שההשוואה תהיה הוגנת. בשלב הזה למשל מוחקים סימני פיסוק, מאחדים את הצורה שבה כתובים מספרים ומאחדים כתיב. לציון WER יש משמעות רק כשיודעים מה היה תמליל הייחוס, איך נרמלו את הטקסט ועל איזו הקלטה בדקו.

ב־WER כל מילה שווה בדיוק אותו דבר, ככה שמילת קישור שנשמטה נספרת בדיוק כמו טעות בשם משפחה. בגלל זה, הרבה משתמשים בודקים שמות, מספרים ומונחים ספציפיים בנפרד. אנחנו לא מפרסמים כאן אחוזי דיוק, כי התוצאות משתנות לפי השפה ואיכות השמע.

אילו מונחים מתארים זיהוי והפרדת דוברים?

הפרדת דוברים (Diarization, זיהוי דוברים) היא התהליך שמברר מי דיבר מתי, ומחלק את ההקלטה לקטעים לפי דובר. התהליך הזה לא מזהה את המילים עצמן. תווית דובר היא השם או התגית שמצמידים לכל קטע כזה, למשל 'דובר 1' או שם אמיתי שהגדרתם. תור דיבור (Turn) הוא רצף שבו אדם אחד מדבר בלי שיקטעו אותו.

דיבור חופף קורה כששני אנשים או יותר מדברים יחד, מה שמקשה גם על זיהוי המילים וגם על הפרדת הדוברים. טכנולוגיית VAD (ראשי תיבות של Voice Activity Detection, זיהוי פעילות קולית) מוצאת את החלקים בהקלטה שיש בהם דיבור ומדלגת על שקט ורעשים. המדד DER (שיעור שגיאות בהפרדת דוברים) בודק כמה מהזמן שויך לדובר הלא נכון, התפספס או זוהה בטעות כדיבור.

אילו מונחים מתארים שפות ותרגום?

זיהוי שפה קולט באיזו שפה מדברים בהקלטה. מעבר שפות (Code-switching, החלפת קוד) קורה כשדובר עובר בין שפות תוך כדי שיחה או אפילו באמצע משפט, למשל כשמערבבים עברית ואנגלית. ניב או להג (Dialect) הוא גרסה אזורית או חברתית של שפה. ערבית ספרותית (MSA), למשל, היא השפה הרשמית שכותבים ומשדרים בה, בזמן שערבית מדוברת מתנהלת ברובה בניבים מקומיים.

תעתיק (Transliteration) מעביר את הצלילים של המילה ממערכת כתב אחת לאחרת, כמו לכתוב שם ערבי באותיות עבריות. תרגום, לעומת זאת, מעביר את המשמעות משפה לשפה. שפות שנכתבות מימין לשמאל (RTL), כמו עברית וערבית, משפיעות על האופן שבו כתוביות ומסמכים נראים כשמשלבים בהם מילים באנגלית או מספרים.

KolWrite מתמללת ביותר מ־100 שפות, מסתדרת עם דיבור מעורב כמו עברית ואנגלית, ומתרגמת בין השפות הנתמכות.

אילו מונחים מתארים תזמון וסגנון כתיבה?

חותמת זמן (Timestamp) מסמנת מתי נאמר קטע מסוים, בספירה מתחילת הקובץ. טיים־קוד (Timecode) הוא סימון תקני לפריים מסוים בווידאו, ובדרך כלל כותבים אותו בשעות, דקות, שניות ופריימים. חותמות זמן ברמת המילה נותנות זמן התחלה וסיום לכל מילה בנפרד. סנכרון מאולץ (Forced Alignment) לוקח טקסט קיים וידוע ומצמיד אותו להקלטה כדי למצוא את הזמנים המדויקים האלה.

תמלול מילולי מלא (Verbatim) משאיר בטקסט כל מילה והברה שנאמרו, כולל מילות מילוי, התחלות של משפטים שנקטעו וחזרות. תמלול מילולי נקי (Clean Verbatim, שלפעמים נקרא גם Intelligent Verbatim) מנקה את מילות המילוי והקטיעות האלה, אבל שומר בדיוק על המילים של הדובר ועל המשמעות שלהן. שחזור פיסוק מוסיף למילים שזוהו אותיות גדולות (בשפות שיש בהן כאלה), פסיקים ונקודות, ועיצוב מספרים הופך מספרים שנאמרו במילים לספרות.

אילו מונחים מתארים פורמטים של קבצים וכתוביות?

SRT ו־VTT הם פורמטים של טקסט פשוט לכתוביות, שמצמידים לכל שורת טקסט זמן התחלה וזמן סיום. VTT (או WebVTT) הוא התקן המקובל ברשת, ואפשר להגדיר בו גם את המיקום והעיצוב של הטקסט. TXT הוא קובץ טקסט פשוט, DOCX הוא מסמך Word,‏ PDF הוא מסמך עם עימוד קבוע, ו־JSON הוא פורמט נתונים מובנה שמיועד לתוכנות ולרוב כולל גם תזמונים ברמת המילה ותוויות דוברים.

באנגלית מפרידים בין Captions ל־Subtitles. כתוביות הנגשה (Captions) מציגות את הדיבור יחד עם תיאור של צלילים חשובים, והן מיועדות לצופים שלא שומעים. כתוביות תרגום או קריאה (Subtitles) מתמללות או מתרגמות את הדיבור למי ששומע את האודיו אבל צריך את הטקסט כתוב. SDH (כתוביות לחירשים ולכבדי שמיעה) הוא סגנון כתוביות שכולל תיאורי צלילים וזיהוי דוברים. כתוביות סגורות (Closed Captions) נשמרות כערוץ נפרד שאפשר להדליק או לכבות, בזמן שכתוביות פתוחות או צרובות (Burned-in / Open Captions) מוטמעות לתוך תמונת הווידאו עצמה ואי אפשר להסיר אותן.

אילו מונחים מתארים אודיו ותהליכי עבודה?

קודק (Codec) הוא השיטה שבה מקודדים ודוחסים אודיו. פורמטים שלא מאבדים נתונים (Lossless), כמו WAV, שומרים על כל פרטי השמע המקוריים. לעומתם, פורמטים שמאבדים נתונים (Lossy), כמו MP3, מוותרים על חלק מהמידע כדי להקטין את הקובץ. קצב סיביות (Bitrate) הוא כמות הנתונים שמעובדת בכל שנייה של אודיו, וכשקצב הסיביות גבוה יותר הוא לרוב שומר על יותר פרטים. קצב דגימה (Sample Rate) סופר כמה פעמים בשנייה מודדים את הצליל. מונו משתמש בערוץ שמע אחד, וסטריאו בשניים.

יחס אות לרעש (SNR) משווה בין עוצמת הקול של הדובר לעוצמת רעשי הרקע. SNR נמוך הוא אחת הסיבות העיקריות לטעויות בזיהוי דיבור. עיבוד באצווה (Batch Processing) מטפל בקבוצה של קבצים מוקלטים בבת אחת, בעוד שזיהוי בהזרמה (Streaming) או בזמן אמת מעבד את השמע תוך כדי שהוא מגיע, לשימוש בשידור חי. KolWrite עובדת על הקלטות שמעלים אליה, ולא מייצרת כתוביות חיות בזמן שיחה.

אוצר מילים מותאם אישית (Custom Vocabulary), או מילון מונחים, הוא רשימת שמות ומונחים שנותנים למערכת מראש כדי שתזהה אותם בצורה אמינה יותר. API הוא ממשק שמאפשר לתוכנות לשלוח קובצי אודיו ולקבל בחזרה טקסט. שלב הבדיקה והעריכה, שנקרא לפעמים 'אדם בלולאה' (Human in the Loop), הוא השלב שבו אדם עובר על התמליל האוטומטי ומתקן אותו.