El Prepocesamientode la información

El Prepocesamientode la información

1. Enfoques de indexación: El proceso de indexación puede realizarse desde dos enfoques: uno basado en métodos no lingüísticos y otro basado en métodos lingüísticos. En el primer caso, se utilizan técnicas estadísticas para análisis de frecuencias y cálculo de pesos de los términos, análisis de probabilidades para determinación de multipalabras y técnicas de agrupamiento (clustering) destinadas a la detección y extracción de relaciones. En el segundo caso, se utilizan técnicas derivadas del procesamiento del lenguaje natural (PLN), las que pretenden imitar el comportamiento de los indizadores humanos.

   • Indexacion en base a técnicas lingüisticas
     • Procesamiento morfológico-léxico: Se trata de identificar formas sintagmáticas, siglas y locuciones. Esta técnica tiene como función principal obtener el léxico, el cual es el componente fundamental en los análisis posteriores sintáctico y semántico. El analizador morfológico permite que el análisis estadístico de frecuencias se realice sobre datos normalizados.
       • Procesamiento Sintáctico: determinan la construcción de las oraciones localizando la función que cumplen las palabras como sujeto, verbo, complemento. El objetivo principal es describir la estructura de las oraciones que componen los documentos. En el análisis sintáctico se separan las unidades lingüísticas con sentido simple o compuesto y se desambiguan las categorías gramaticales asignadas por el analizador morfológico.
         • Procesamiento Semático: El objetivo es obtener el significado de las palabras y de las oraciones que forman. Esto se logra mediante el uso de tesauros de términos donde se tienen conceptos y distintos tipos de relaciones entre éstos. Un ejemplo de herramienta de esta área es WordNet, un sistema de referencia léxica que organiza sustantivos, verbos, adjetivos y adverbios en conjuntos de sinónimos que representan un concepto léxico subyacente
   • Indexación en base a técnicas no lingüísticas
     • Proceso de indización: La indexación de base no lingüística se fundamenta en el análisis de la frecuencia de los términos y su distribución dentro de los documentos. Este análisis tiene como objeto establecer criterios que permitan determinar si una palabra es un término de indexación válido, fundamentalmente porque permite discriminar el contenido de los documentos y aporta información
       • Análisis lexíco del texto: El objetivo del análisis lexico es convertir un flujo de caracteres en palabras o tokens (por lo que también recibe el nombre de tokenization). Esto implica detectar el comienzo y fin de las palabras bajo diversas circunstancias.
         • Eliminación de palabras vacias: Los términos que ocurren en casi todos los documentos de una colección no son buenos para la recuperación de información por su nulo poder para discriminar documentos. Las palabras que aparecen en más del 80% de documentos no deberían seleccionarse como términos de indexación. Este conjunto de términos se lo conoce como palabras vacías o stopwords.
           • Stemming: Es una técnica de reducción que permite detectar variantes morfológicas de un mismo término, por ejemplo, palabras como cómputo, computadoras, computable, computación son variantes del término computar, y reemplazarlas por el término raíz o lema. El uso del stemming o lematización posibilita: a) tener índices de menor tamaño y b) una mayor cantidad de respuestas a una consulta dada.
             • Seleción de terminos índices: En la actualidad la mayoría de los sistemas emplean una representación a texto completo del texto. Según Baeza Yates & Ribeiro Neto (1999), todos los términos índice generados son empleados para la representación del texto durante el posterior proceso de búsqueda.
               • Frecuencias y Pesos de los terminos: Para realizar operaciones de cálculo de similitud entre documentos y consultas, resulta necesario poder determinar la ponderación de cada término dentro de éstos, brindando a cada uno un peso o valor. El peso de cada término se encuentra relacionado con su frecuencia de aparición dentro de cada documento. El peso de un término t en un documento d se puede determinar por la aparición o no de un término o bien, se calcula a partir de obtener su frecuencia.
                 • Frecuencia de aparición de un término (TF o Term Frequency):El factor TF es la suma de todas las ocurrencias, es decir el número de veces que aparece un término en un documento. A este tipo de frecuencia de aparición también se la denomina "frecuencia de aparición relativa" porque atañe a un documento en concreto y no a toda la colección. Se calcula según los procesos de depuración mencionados en apartados anteriores (stopwords, tokenización, stemming, lematización). Posteriormente, se lleva a cabo el recuento de las veces que el término aparece presente en el documento.
                   • Frecuencia inversa del documento para un término (IDF o Inverse Document Frequency): El factor IDF de un término es inversamente proporcional al número de documentos en los que aparece dicho término. Esto significa que cuanto menor sea la cantidad de documentos, así como la frecuencia absoluta de aparición del término, mayor será su factor IDF y a la inversa, cuanto mayor sea la frecuencia absoluta referida a una alta presencia en todos los documentos de la colección, menor será su factor discriminatorio.
                     • Ponderación TF-IDF:Las aclaraciones anteriores respecto a TF e IDF eran necesarias para abordar el concepto y cálculo que realmente nos importa, es decir, el referido a la ponderación de los términos. El cálculo del peso de un término en un documento es el producto de su frecuencia de aparición en dicho documento (TF) y su frecuencia inversa de documento (IDF).
                       • La ley de Zip y la frecuencia de aparición: En 1949 el lingüista y científico George Kingsley Zipf, formuló la ley empírica que lleva su nombre y con la que se determina que la frecuencia de cualquier palabra es inversamente proporcional a la posición que ocupa en la tabla de frecuencias.
                         • Técnica de cortes de Luhn: Cut-on y Cut-off:La técnica de cortes se puede utilizar para la “poda” del vocabulario de la base de datos. Es decir, para determinar cuáles se van a considerar palabras vacías o stopwords. Esta técmoca consiste en la eliminación de los términos de altísima frecuencia de aparición (Cut-on) y términos de bajísima frecuencia de aparición (Cut-off), entre los que se incluyen los "hápax", términos cuya frecuencia de aparición es la unidad .La técnica de cortes propuesta por Luhn se realizaba de forma arbitraria, eliminando un porcentaje de términos alineados en los extremos del ranking.

Imagens e arquivos do mapa