Respuesta automática a preguntas sobre documentos legales en español

Abstract

En un sistema de búsqueda de respuestas (SBR) el usuario introduce preguntas en lengua-je natural y obtiene respuestas que pueden ser ya sea, construidas por el sistema a partir de un conjunto de documentos, o bien simplemente extractos de texto que contienen la res-puesta. Dependiendo de los temas a los que se refiere la colección de documentos, los SBR se dividen en SBR de dominio abierto (incluyen documentación médica, legal, bibliográfi-ca, periódicos, etc.) y SBR de dominio restringido (se refieren a un solo tópico, p. ej. dia-gnósticos médicos). En el presente trabajo se describe una arquitectura para un sistema de búsqueda de respuestas restringido a documentos legales en lenguaje español, específica-mente a textos normativos del Instituto Politécnico Nacional (IPN) y enfocado a preguntas realizadas al Abogado General del IPN. La arquitectura propuesta se basa en la representa-ción de la colección de documentos en forma de un grafo ponderado en el que cada nodo representa los artículos de los textos normativos y las aristas el valor inverso de la medida de semejanza coseno. Dada una pregunta, el sistema la divide en dos partes (Q1 y Q2) que posteriormente se agregan al grafo como dos nuevos nodos. Mediante el algoritmo de Dijkstra se encuentran las rutas de peso mínimo de Q1 a Q2. Las rutas así encontradas con-tienen artículos altamente relacionados entre ellos y con las partes que integran la pregunta de tal forma que, en la mayoría de los casos, a partir del conjunto de artículos devueltos por el sistema, es posible inferir la respuesta adecuada. Adicionalmente, se emplearon técnicas de procesamiento de lenguaje natural con la finalidad de evaluar su impacto en el sistema, para lo cual se propuso un esquema de evaluación y bajo el mismo se compararon las res-puestas obtenidas con el SBR propuesto y un sistema basado en el modelo tradicional de espacio vectorial para la misma tarea. Bajo los criterios de evaluación empleados, el siste-ma propuesto muestra notablemente un mejor desempeño con respecto al sistema basado en el modelo de espacio vectorial. Los resultados obtenidos muestran que el enfoque adoptado es adecuado, sin embargo aún existe posibilidad de mejora para la tarea de búsqueda de respuestas. // This work describes a Question Answering System (QAS) restricted to legal documents. This system returns a set of relevant articles extracted from several regulation documents. The set of relevant articles allows inferring answers to questions posed in natural language. We take the approach of representing the set of all the articles as a graph; the question is split in two parts (called A and B), and each of them is added as part of the graph. Then several paths are constructed from part A of the question to part B, so that the shortest path contains the relevant articles to the question. We evaluate our method comparing the an-swers given by a traditional information retrieval system—vector space model adjusted for article retrieval, instead of document retrieval—and the answers to 21 questions given ma-nually by the general lawyer of the National Polytechnic Institute, based on 26 different regulations (academy regulation, scholarships regulation, postgraduate studies regulation, etc.); with the answer of our system based on the same set of regulations. The results show that our system performs twice as better with regard to the traditional Information Retriev-al model for Question Answering.