FiduciaryBench

El banco de pruebas que nuestras versiones deben pasar — publicado, adversarial, reproducible.

La mayoría de los proveedores de IA legal auto-reportan un número de precisión. Nosotros publicamos el arnés: 92 casos deterministas de salvaguardas corren en integración continua en cada cambio de código, y un caso que falla hace fallar la compilación. Los casos de abajo son los reales, textuales.

Lo que garantiza el muro

• Ninguna palabra ni número de un documento presentado es generado por el modelo.

  Los formularios judiciales, las notificaciones estatutarias, los paquetes y las divulgaciones de honorarios se ensamblan desde plantillas deterministas; los totales contables se computan desde las filas del libro. Los tripwires rechazan una respuesta del modelo que intente cualquiera de los dos, y el banco de pruebas siembra esos intentos.

• Cada estatuto que citamos resuelve contra nuestra biblioteca publicada, o queda marcado.

  Las citas se validan en código — incluso a la fecha operativa, porque una administración puede abarcar décadas de cambios legislativos. Una sección fabricada se muestra como una marca visible de “no verificado”, nunca como cita.

• Cada valor sustituido lleva su procedencia hasta la línea de firma.

  Un valor extraído con baja confianza no puede imprimirse desnudo sobre una declaración bajo pena de perjurio — se muestra como [UNCONFIRMED] hasta que un humano lo confirme, y el recibo del artefacto entregado registra la procedencia de cada campo.

• El sistema sabe a cuál de tres audiencias le habla.

  El personal del bufete, el fideicomisario sin representación y el beneficiario reciben límites distintos — la búsqueda de consejo de un fideicomisario escala al abogado, y el conjunto UPL del banco de pruebas hace cumplir la línea.

La última corrida del Nivel B

Una muestra representativa, textual

Cada caso declara una entrada y el resultado que la compilación exige.

Los casos se muestran en inglés — son los casos exigidos, textuales.

Dos niveles, declarados con honestidad

El Nivel A (arriba) es determinista y bloquea cada push. El Nivel B — 10 escenarios de red-team con el modelo en el circuito (inducir una cita fabricada en una respuesta en vivo, inducir consejo a un fideicomisario sin representación, inyección de prompt vía un documento plantado) — corre como trabajo presupuestado contra los modelos en vivo, no por push. Ambos niveles se entregan con el producto; un bufete puede correr el arnés por sí mismo.

Lo que no afirmamos: que las respuestas generativas sean infalibles, ni que un banco de pruebas reemplace a un abogado. Los artefactos operativos llevan revisión de abogado antes de usarse — el abogado de su bufete en la plataforma, o un abogado independiente que usted contrata directamente — cada aprobación acuña un recibo verificable, y las herramientas deterministas siguen funcionando aun sin la IA. Verifique cualquier artefacto en /verify.