האם אפשר לסמוך על חיפוש AI באתר?

תשובת AI שוטפת ומשכנעת עדיין יכולה להיות שגויה. באתר ציבורי היא עלולה להפוך להנחיית מוצר מוטעית, להסבר לא נכון של מדיניות או לטענה מדעית שאף מקור אינו תומך בה.

לכן השאלה איננה „האם AI כותב משכנע?”, אלא „האם המערכת מציגה את הראיות, נשארת בגבולותיהן ועוצרת כשהן אינן מספיקות?” חיפוש AI מקורקע נבנה סביב הדרישות האלה.

מהו grounding

המערכת מאחזרת תחילה קטעים מאוסף מוגדר — למשל העמודים והמסמכים של אתר אחד — ואז מבקשת מן המודל לענות מהם, ולא מידע כללי שנלמד באימון. הדפוס הזה נקרא לעיתים retrieval-augmented generation, או RAG.

Grounding מצמצם את המשימה, אך אינו יוצר ודאות מתמטית. האחזור עלול לבחור קטע שגוי, המקור עלול להיות מיושן והמודל עלול לסכם בהרחבה יתרה. תכנון טוב מפחית את הסיכונים והופך אותם לגלויים; הוא אינו מבטיח שכל משפט עתידי יהיה מושלם.

מה ציטוטים נותנים — ומה לא

ציטוט יוצר עקיבות: המבקר יכול לפתוח את המקור, לקרוא הקשר ולהחליט אם הסיכום אמין. לבעל האתר הוא גם עוזר לאבחן תקלה. קישור לעמוד ניווט במקום למדיניות הוא בעיית אחזור; מקור נכון עם מסקנה לא נתמכת הוא בעיית ניסוח.

עם זאת, קישור רלוונטי אחד אינו מוכיח שכל משפט נתמך. בדיקה אחראית שואלת אם כל טענה חשובה נובעת מן הראיה המצוטטת. בתוכן עתיר סיכון, מסמך המקור נשאר הסמכות; תשובת AI היא כלי ניווט והבנה, לא תחליף לבדיקה מקצועית.

ארבעה מנגנונים חשובים מממשק צ׳אט

1. אוסף מקורות מוגבל. המערכת צריכה לדעת באיזה אתר ובאילו מסמכים מותר לה להשתמש. ערבוב ידע ציבורי לא קשור מקשה להסביר מקור.
2. אחזור לפני ניסוח. המודל צריך לקבל קטעים רלוונטיים. אם לא נמצא דבר שימושי, אין לעודד אותו לאלתר.
3. שער grounding. תשובה נחשבת נתמכת רק כשיש ראיות שמישות. בתהליך הנוכחי של Achla AI, תשובת Vertex ללא ציטוטים אינה נחשבת הצלחה מקורקעת. שלבי fallback מוגבלים יכולים לחפש קטעים ולנסות סינתזה, אך חייבים לאפשר „אי אפשר לענות”.
4. סירוב כן. „לא מצאתי זאת באתר” הוא מאפיין מוצר. הוא מבדיל מנוע תשובות ממוקד מאתר מעוזר כללי שמטרתו להמשיך את השיחה.

גם המקור יכול להיות שגוי

מדיניות ישנה, עמודים סותרים או אינדקס שעדיין לא התעדכן יכולים לעבור לתשובה. לכן נדרש ממשל תוכן:

• להסיר או לסמן בבירור חומר מיושן;
• להציג תאריכי עדכון למסמכים רגישים;
• להשתמש באופן עקבי בכתובות קנוניות;
• לנטר חיפושים כושלים ובעלי ביטחון נמוך;
• לאנדקס מחדש אחרי שינוי חשוב;
• לבדוק שוב שאלות קריטיות לאחר עדכון.

איכות החיפוש אינה יכולה לעלות לאורך זמן על איכות המקורות.

מבחן אמון מעשי

בנו קבוצת ניסוי מארבעה סוגים: תשובה אחת ברורה, תשובה המפוזרת בין כמה קטעים, חומר עמום או סותר ושאלה שאינה מכוסה כלל.

לכל תוצאה בדקו:

1. האם נמצא המקור הטוב ביותר;
2. האם כל הטענות העיקריות נתמכות;
3. האם הציטוטים פותחים את העמוד הנכון;
4. האם אי-הוודאות מתוארת ביושר;
5. האם השאלה ללא מקור נדחתה.

בתוכן מדעי, רפואי, משפטי או רגולטורי יש לערב מומחה תחום. שמרו את קבוצת הבדיקה כדי להריץ אותה שוב לאחר שינוי מודל, prompt או אינדקס.

כיצד Achla AI מתוכנן

Achla AI מאנדקס תוכן מאושר של אתר אחד ועונה ממנו. התהליך דורש ציטוטים, אינו מקבל תשובת Vertex ללא ציטוט כהצלחה מקורקעת, יכול לבצע סינתזה מוגבלת מקטעים שנמצאו ומסנן מקורות ניווטיים או לא רלוונטיים.

המנגנונים האלה נועדו להפחית תשובות לא נתמכות; הם אינם הבטחה לאפס hallucinations. יש לשפוט את המוצר לפי נאמנות התשובה, שימושיות הציטוטים והתנהגות הסירוב על התוכן שלכם.

מתי תשובה מצוטטת מתאימה

היא שימושית בתיעוד טכני, מאגרי מחקר, תקנים ורגולציה, מרכזי תמיכה, לימוד וקטלוגים מורכבים. היא אינה תחליף לייעוץ חירום, לשיקול דעת מקצועי או לפרשנות משפטית ומדעית סופית.

אמון צריך להיות ניתן לבדיקה: באיזה תוכן מותר להשתמש, אילו מקורות תמכו בתשובה, מה קורה כשאין מקור, כמה מהר מתקנים תוכן ישן והאם אפשר לחזור על אותו מבחן אחרי שינוי?

נסו את Achla AI בשאלה נתמכת ובשאלה ללא מקור, ופתחו כל ציטוט. המטרה היא לבדוק את החיבור בין הראיות לתשובה, לא להתרשם מניסוח שוטף.

הפעלת הסרטון

נגן YouTube ייטען רק לאחר לחיצה על כפתור ההפעלה.

צפייה ב-YouTube (סרטון: האם אפשר לסמוך על חיפוש AI באתר?)