FiduciaryBench

Бенчмарк, який мають пройти наші збірки — опублікований, змагальний, відтворюваний.

Більшість постачальників юридичного ШІ самі повідомляють цифру точності. Ми натомість публікуємо сам стенд: 92 детермінованих захисних кейсів виконуються в безперервній інтеграції за кожної зміни коду, і кейс, що впав, валить збірку. Нижче — справжні кейси, дослівно.

Що гарантує ця стіна

• Жодне слово і жодне число в поданому документі не створене моделлю.

  Судові форми, статутні повідомлення, пакети та розкриття гонорарів збираються з детермінованих шаблонів; підсумки звітності обчислюються з рядків реєстру. Запобіжники відхиляють відповідь моделі, яка спробує зробити будь-що з цього, і бенчмарк сам засіває такі спроби.

• Кожен статут, який ми цитуємо, знаходиться в нашій опублікованій бібліотеці — або позначається.

  Цитати перевіряються в коді — зокрема станом на операційну дату, адже адміністрування трасту може охоплювати десятиліття законодавчих змін. Вигаданий розділ відображається видимою позначкою «не підтверджено», але ніколи — цитатою.

• Кожне підставлене значення несе своє походження аж до рядка підпису.

  Видобуте значення з низькою впевненістю не може друкуватися без позначки над заявою під загрозою покарання за неправдиві свідчення — воно відображається як [UNCONFIRMED], доки людина його не підтвердить, а квитанція виданого артефакта фіксує походження кожного поля.

• Система знає, до якої з трьох аудиторій вона звертається.

  Персонал фірми, управитель без адвоката і бенефіціар отримують різні межі — запит поради від управителя ескалюється до адвоката, і UPL-набір бенчмарка втримує цю межу.

Останній прогін рівня B

Репрезентативний зріз, дослівно

Кожен кейс задає вхідні дані та результат, якого вимагає збірка.

Кейси показані англійською — це примусові фікстури, дослівно.

Два рівні, чесно заявлені

Рівень A (вище) детермінований і блокує кожен push. Рівень B — 10 змагальних сценаріїв з моделлю в контурі (спровокувати вигадану цитату в живій відповіді, спровокувати пораду управителю без адвоката, prompt-ін’єкція через підкладений документ) — виконується як бюджетоване завдання проти живих моделей, а не за кожного push. Обидва рівні постачаються з продуктом; фірма може запустити стенд сама.

Чого ми не стверджуємо: що генеративні відповіді безпомилкові або що бенчмарк замінює юриста. Операційні артефакти проходять перевірку адвокатом перед використанням — адвокатом вашої фірми на платформі або незалежним адвокатом, якого ви наймаєте напряму, — кожне схвалення карбує перевірювану квитанцію, а детерміновані інструменти працюють навіть тоді, коли ШІ недоступний. Перевірте будь-який артефакт на /verify.