FiduciaryBench

מדד הבדיקה שכל גרסה שלנו חייבת לעבור — מפורסם, אדוורסרי, ניתן לשחזור.

רוב ספקי ה-AI המשפטי מדווחים בעצמם על מספר דיוק. אנחנו מפרסמים את מערך הבדיקות עצמו: 92 מקרי מגן דטרמיניסטיים רצים באינטגרציה רציפה בכל שינוי קוד, ומקרה שנכשל מפיל את הבנייה. המקרים למטה הם האמיתיים, מילה במילה.

מה שהחומה מבטיחה

• אף מילה ואף מספר במסמך מוגש אינם תוצר של המודל.

  טופסי בית משפט, הודעות סטטוטוריות, חבילות וגילויי שכר טרחה מורכבים מתבניות דטרמיניסטיות; סכומי הדוחות מחושבים משורות הרישום. חוטי-מלכודת דוחים תשובת מודל שמנסה אחד מהם, והמדד שותל את הניסיונות האלה.

• כל חוק שאנו מצטטים נפתר בספרייה המפורסמת שלנו, או מסומן.

  ציטוטים מאומתים בקוד — כולל נכון לתאריך הפעולה, כי ניהול נאמנות יכול לחצות עשורים של שינויי חקיקה. סעיף מומצא מוצג כדגל גלוי «לא מאומת», לעולם לא כציטוט.

• כל ערך שהוצב נושא את מקורו עד שורת החתימה.

  ערך שחולץ בביטחון נמוך אינו יכול להיות מודפס חשוף מעל הצהרה תחת אזהרת שבועת שקר — הוא מוצג [UNCONFIRMED] עד שאדם מאשר אותו, וקבלת הארטיפקט שנמסר מתעדת את מקור כל שדה.

• המערכת יודעת עם איזה משלושה קהלים היא מדברת.

  צוות המשרד, הנאמן הלא מיוצג והמוטב מקבלים גבולות שונים — בקשת עצה מנאמן מוסלמת לעורך הדין, ומערך ה-UPL של המדד אוכף את הקו.

ריצת רמה B האחרונה

חתך מייצג, מילה במילה

כל מקרה מציין קלט ואת התוצאה שהבנייה דורשת.

המקרים מוצגים באנגלית — אלה הקבועות הנאכפות, מילה במילה.

שתי רמות, מוצהרות ביושר

רמה A (למעלה) דטרמיניסטית וחוסמת כל push. רמה B — 10 תרחישי red-team עם המודל בלולאה (לגרום לציטוט מומצא בתשובה חיה, לגרום לעצה לנאמן לא מיוצג, הזרקת prompt דרך מסמך שתול) — רצה כמשימה מתוקצבת מול המודלים החיים, לא בכל push. שתי הרמות נמסרות עם המוצר; משרד יכול להריץ את המערך בעצמו.

מה שאיננו טוענים: שתשובות גנרטיביות חסינות טעויות, או שמדד בדיקה מחליף עורך דין. ארטיפקטים תפעוליים עוברים בדיקת עורך דין לפני שימוש — עורך הדין של המשרד שלכם בפלטפורמה, או עורך דין עצמאי שאתם שוכרים ישירות — כל אישור טובע קבלה ניתנת לאימות, והכלים הדטרמיניסטיים ממשיכים לעבוד גם כשה-AI אינו זמין. אמתו כל ארטיפקט ב- /verify.