Latency הוא הזמן שעובר מהרגע שהלקוח מסיים לדבר ועד שהסוכן מתחיל לענות. בשיחה אנושית הפער הזה קטן מאוד - מאות מילישניות בלבד - ולכן כל עיכוב מורגש מיד ופוגע בתחושת הטבעיות.
למה latency כל כך קריטי
בשיחת טלפון אין שפת גוף. כל מה שיש ללקוח הוא הקצב והתזמון. שתיקה של שנייה וחצי אחרי שאלה גורמת ללקוח לחשוב "התנתקנו?" או "הוא לא הבין?". זמן תגובה נמוך שומר על זרימה, אמון ותחושה אנושית.
איך עובד עיבוד streaming
הדרך להשיג latency נמוך היא לא לחכות. במקום להמתין שהלקוח יסיים את כל המשפט, הסוכן מתחיל לזהות את הדיבור תוך כדי שהוא נאמר, מתחיל לעבד את הכוונה במקביל, ומתחיל לייצר את התשובה הקולית ברגע שהיא מתגבשת. השרשרת כולה רצה במקביל (real-time processing) ולא בטור.
השפעה על ניהול השיחה
latency נמוך הוא תנאי מקדים לניהול תור דיבור טבעי - היכולת להפסיק, להגיב להפרעות ולדעת מתי הלקוח סיים. בלי תגובה מהירה, כל אלה מתמוטטים. זו אחת הסיבות שאיכות ההנדסה מאחורי הסוכן הקולי חשובה לא פחות מאיכות התסריט.