El razonamiento jurídico sigue siendo un reto para los másteres en Derecho
Los autores de este artículo crearon un punto de referencia que incluye preguntas abiertas y preguntas de opción múltiple para evaluar el rendimiento de varios LLM diferentes con respecto al razonamiento jurídico. El razonamiento jurídico requiere la aplicación de la lógica deductiva e inductiva a escenarios complejos, a menudo con parámetros indefinidos. Sus resultados muestran que estos modelos siguen «teniendo dificultades con las preguntas abiertas que requieren un razonamiento jurídico estructurado y de varios pasos».
El razonamiento jurídico es una frontera crítica para los modelos de lenguaje grandes (LLM) en concreto y para la inteligencia artificial (IA) en general, ya que requiere conocimientos especializados en la materia y capacidades de razonamiento avanzadas, como la interpretación de precedentes, el análisis normativo y la inferencia jurídica. A pesar de los avances en el razonamiento general, el razonamiento jurídico sigue siendo difícil y está infravalorado en la investigación sobre el procesamiento del lenguaje natural (NLP). Además, el ámbito jurídico es intrínsecamente de alto riesgo y no examinar a fondo las capacidades y limitaciones de los modelos podría tener graves consecuencias en el mundo real...
Nuestro análisis revela una variabilidad y unas limitaciones sustanciales en las capacidades de los LLM para abordar las preguntas de elección múltiple y, especialmente, las preguntas abiertas complejas; en particular, el aumento del número de opciones de las preguntas de elección múltiple reduce de forma sistemática la precisión del modelo. Nuestro marco de evaluación ofrece un enfoque escalable para evaluar la calidad del razonamiento jurídico más allá de las simples métricas de precisión, lo que facilita la investigación futura
destinada a mejorar la fiabilidad y la solidez de los LLM en tareas jurídicas complejas.
