Los 8 errores de una IA jurídica, y cómo comprobar si la tuya los comete
Los 8 errores de una IA jurídica: citas inventadas, mal atribuidas, normas desactualizadas, trampas, plazos y más. Qué mide el benchmark y cómo probar la tuya.
Respuesta rápida: una IA jurídica puede fallar de 8 formas, según el método del benchmark de observatorio.legal: inventar citas, atribuir a una sentencia real algo que no dice, citar «reiterada jurisprudencia» sin resolución concreta, usar una norma desactualizada, no detectar una pregunta trampa, suponer un dato que falta, negarse a una consulta legítima y calcular mal un plazo. Cada uno se puede probar en pocos minutos con preguntas propias.
En su campaña C2026-Q3, el Observatorio evaluó 15 asistentes jurídicos con 90 preguntas, repitió cada pregunta 3 veces y revisó una a una 2.774 citas contra el CENDOJ y el BOE. Ninguno salió sin errores. Este artículo explica qué mide cada error, qué rangos encontró el Observatorio y cómo comprobar si la herramienta que usas en el despacho los comete. No es asesoramiento jurídico ni un ranking propio.
¿Cómo se mide la fiabilidad de una IA jurídica?
El método del Observatorio combina preguntas reservadas por categorías, repetición de cada pregunta para medir la consistencia y revisión manual de cada cita contra la fuente oficial. La alucinación pesa 23 de los 100 puntos del índice, y si más del 20 % de las citas son inventadas, la nota máxima queda limitada a 49.
Una observación del propio Observatorio importa para leer los resultados: quien menos cita, menos se equivoca. Un asistente que responde poco y en general sale bien en citas inventadas, pero pierde puntos por no resolver lo que se le pregunta. Para que sea útil, una IA jurídica tiene que citar mucho y citar bien.
| # | Error | Qué es | Rango observado en los 15 asistentes |
|---|---|---|---|
| 1 | Cita inventada | Sentencia o artículo que no existe en el CENDOJ ni en el BOE | Del 1,1 % al 8,8 % de las citas |
| 2 | Mala atribución | La resolución existe, pero no dice lo que se afirma | Del 1,5 % al 5,7 % de las citas |
| 3 | Cita opaca | «Reiterada jurisprudencia» sin una resolución que se pueda comprobar | Del 4,4 % al 14,2 % de las citas |
| 4 | Norma desactualizada | Responde con la redacción anterior a la última reforma | Acierto del 68,3 % al 95 % |
| 5 | Trampa no detectada | Sigue adelante con una premisa falsa o una sentencia inexistente | Detección del 50 % al 93,3 % |
| 6 | Dato que falta | Supone un dato del que depende la respuesta en vez de preguntarlo | Varios asistentes preguntan solo entre el 36,7 % y el 63,3 % de las veces |
| 7 | Negativa indebida | Se niega a responder una consulta lícita | Respuesta a consultas legítimas desde el 66,7 % |
| 8 | Plazo mal calculado | Días hábiles, fecha a fecha, día inicial o suspensiones | Acierto desde el 44,1 % hasta cerca del 88 % |
1. ¿Inventa sentencias o artículos?
Es el error más conocido: la IA da una cita con formato correcto que no corresponde a ninguna resolución ni artículo. Todos los asistentes evaluados por el Observatorio inventaron alguna cita. Es también lo que han sancionado los tribunales: ya hay multas de hasta 1.800 euros a abogados que presentaron escritos con citas falsas.
Cómo probarlo: pide jurisprudencia del Tribunal Supremo sobre una cuestión concreta de tu especialidad y busca cada cita en el CENDOJ por su Roj o ECLI. Si no da identificador, trátala como no comprobada. Las sanciones las repasamos en las multas por citas falsas generadas con IA.
2. ¿Atribuye a una sentencia real algo que no dice?
La sentencia existe, el número cuadra y el enlace abre, pero el párrafo citado o la doctrina atribuida no están en ella. El Observatorio lo considera el error más difícil de detectar para quien no va a la fuente, y es el que aparece en varias resoluciones judiciales sobre escritos hechos con IA.
Cómo probarlo: elige tres citas de una respuesta, ábrelas en el CENDOJ y busca la frase exacta con Ctrl+F. Si no aparece ni con otras palabras, la cita está mal atribuida.
3. ¿Cita «reiterada jurisprudencia» sin decir cuál?
Fórmulas como «es doctrina consolidada del Tribunal Supremo» o «según reiterada jurisprudencia» sin una resolución identificada no se pueden comprobar. En un escrito valen poco y esconden que la herramienta no ha encontrado una sentencia concreta. En el benchmark llegaron a ser el 14,2 % de las citas de un asistente.
Cómo probarlo: cuando aparezca la fórmula, pide «dame dos sentencias concretas con su ECLI». Si no puede darlas, la afirmación no está respaldada.
4. ¿Usa la redacción vigente de la norma?
Un modelo puede responder con el texto de un artículo anterior a su última reforma, porque lo aprendió así o porque su base no está actualizada. Con las reformas recientes, como la de la Ley Orgánica 1/2025 de eficiencia del Servicio Público de Justicia, el riesgo es alto. En el benchmark, el acierto en vigencia fue del 68,3 % al 95 %.
Cómo probarlo: pregunta por un artículo que sepas que se ha reformado este año y compara la respuesta con el texto consolidado del BOE, que indica la última actualización y su fecha de entrada en vigor.
5. ¿Detecta una pregunta con trampa?
Si la pregunta parte de un artículo inexistente o de una sentencia que no existe, una buena IA jurídica lo dice al principio. Una mala construye la respuesta sobre la premisa falsa. En el benchmark, la detección de trampas fue del 50 % al 93,3 %: en el peor caso, la mitad de las trampas pasaron.
Cómo probarlo: pregunta por un artículo que no exista en una ley que conozcas bien, o por una sentencia con un número inventado. La respuesta correcta empieza diciendo que no existe.
6. ¿Pregunta los datos que faltan?
Muchas respuestas jurídicas dependen de un dato: la comunidad autónoma o el derecho foral, la fecha, la cuantía, el tipo de procedimiento o si el cliente es consumidor. Si falta, lo correcto es preguntarlo o responder condicionado. El Observatorio lo señala como el fallo más extendido: varios asistentes solo preguntan entre el 37 % y el 63 % de las veces.
Cómo probarlo: pregunta por el régimen económico de un matrimonio o por la legítima de los hijos sin decir dónde viven. Si responde solo con el Código Civil sin preguntar por el derecho foral, supone el dato.
7. ¿Se niega a responder consultas legítimas?
El exceso de prudencia también es un fallo: una herramienta que se niega a analizar un delito, una consulta sobre violencia o un tema electoral no le sirve a un abogado penalista o administrativista. En el benchmark, algunos asistentes respondieron solo dos de cada tres consultas legítimas.
Cómo probarlo: plantea un caso penal real de tu práctica (por ejemplo, la calificación de un delito) y comprueba que responde al fondo en vez de remitirte a un abogado.
8. ¿Calcula bien los plazos?
El cómputo de plazos exige reglas exactas: días hábiles, agosto inhábil a efectos procesales, meses de fecha a fecha, día inicial y festivos de cada partido judicial. Un modelo de lenguaje no es una calculadora. En el benchmark, el acierto en plazos fue desde el 44,1 % hasta cerca del 88 %.
Cómo probarlo: pide un plazo procesal con una fecha de notificación cercana a agosto o a un festivo y rehazlo con una calculadora. Lo explicamos paso a paso en cómo calcular plazos procesales.
¿Cómo hacer tu propia prueba en 30 minutos?
Prepara 8 preguntas, una por error, sobre tu especialidad y con respuesta conocida. Hazlas dos veces en días distintos y anota cada cita como verificada, mal atribuida, inventada o no comprobable. No hace falta un laboratorio: basta con tus preguntas, el CENDOJ y el BOE.
- Escribe las 8 preguntas y la respuesta correcta de cada una antes de empezar.
- Hazlas a la herramienta sin darle pistas.
- Comprueba cada cita en la fuente oficial. Puedes ayudarte del verificador de citas jurídicas, que te indica en qué fuente oficial abrir cada norma o sentencia.
- Repite las mismas preguntas otro día: si las citas cambian, la herramienta no es consistente.
- Guarda el resultado con la fecha. Te servirá para comparar herramientas y para el rastro de diligencia del despacho.
¿Qué hace Amara Legal con estos errores?
Amara trabaja con un corpus jurídico de casi 3 millones de unidades y enlaza a la fuente oficial (BOE, CENDOJ, EUR-Lex) para que el abogado compruebe cada cita. Estamos midiendo a Amara con estas mismas 8 categorías. La regla es la misma para cualquier herramienta: el abogado revisa, firma y decide.
Si el despacho todavía no tiene pautas sobre cuándo y cómo usar la IA, puedes partir de nuestra política de uso de IA para despachos.
Preguntas frecuentes
¿Qué IA jurídica comete menos errores?
Depende del error y de la fecha de la medición. Los resultados de cada asistente están en el benchmark de observatorio.legal, con su metodología. Lo más útil es probar la herramienta con preguntas de tu propia práctica.
¿Qué es una alucinación en una IA jurídica?
Una cita, norma o dato que la IA presenta como real y no existe. En el benchmark del Observatorio se cuenta como cita inventada cuando no aparece en el CENDOJ ni en el BOE.
¿Cuál es el error más difícil de detectar?
La mala atribución: la sentencia existe, pero no dice lo que la IA afirma. Solo se detecta leyendo el texto original.
¿Por qué una IA da respuestas distintas a la misma pregunta?
Los modelos de lenguaje generan texto con cierta variación, y si buscan en internet las fuentes cambian. Por eso el Observatorio repite cada pregunta 3 veces.
¿Una IA jurídica puede calcular plazos procesales?
Puede orientarte, pero el cálculo hay que rehacerlo con una calculadora o con las reglas de la LEC y del calendario del partido judicial. El plazo mal calculado fue uno de los errores con más diferencias entre asistentes.
¿Usar una IA especializada evita estos errores?
Los reduce si trabaja sobre fuentes oficiales y enlaza cada cita, pero ninguna los elimina del todo: en el benchmark, todos los asistentes cometieron alguno. La revisión del abogado sigue siendo necesaria.
Fuentes consultadas el 29 de octubre de 2026: benchmark de asistentes legales de observatorio.legal, campaña C2026-Q3, con sus páginas de fiabilidad, vigencia y metodología, y la legislación consolidada del BOE. Si detectas un dato desactualizado, escríbenos a info@amaralegal.ai.
