Analizador Léxico.

Analizador léxico también conocido como analizador morfólogico o scanner, es el elemento del compilador de la division del codigo fuente en un conjunto de unidades sintácticas con sentido lógico.
1. Que es un token: URL: https://www.cartagena99.com/recursos/alumnos/apuntes/ININF2_M4_U2_T1.pdf
  1. Tipos de tokens posibles: URL: https://elibro.net/es/ereader/umg/106460
    1. Palabras reservadas del sistema.
    2. Identificadores.
    3. Literales.
    4. Números.
    5. Operadores y símbolos operacionales.
2. Formas de interaccionar las fases léxicas y sintácticas,
  1. El analizador léxico opera a petición del analizador sintáctico.
  2. La fase léxica puede hacer un análisis de todos los componentes léxicos del código fuente.
Responsabilidad de un analizador léxico como fase de un compilador
1. En esta fase de compilación lo principal será leer la secuencia de caracteres del programa fuente, carácter por carácter, y agruparlos.
¿Por qué separar el análisis léxico del análisis sintáctico?
1. Primero: Si la fase del análisis léxico y sintáctico se encuentran separadas, bien en clases diferentes, bien en objetos distintos o simplemente en métodos o subprogramas distintos podremos realizar modificaciones en la especificación léxica o sintáctica del código fuente .
2. Segundo: el diseño y la implementación de las distintas fases del compilador serán mas simples, a la vez que mas eficientes.
3. Tercero: separar el análisis léxico del sintáctico nos permitirá centralizar, en un único módulo o clase, la lectura fisica de los caracteres, lo que facilita tratamientos especializados de E/S
Tratamiento De Los Errores Léxicos
1. Normalmente los errores durante esta etapa son escasos, ya que el compilador tiene todavía una visión muy local del programa.
  1. Los errores léxicos se pueden agrupar entre los siguiente:
    1. Símbolos no permitidos.
    2. Identificadores mal construidos.
    3. Valores numéricos mal construidos.
    4. Constante literal mal construida.
    5. Al detectar un final de archivo a la mitad de un componente léxico.
2. alternativas para el tratamiento de errores en analizadores léxicos.
  1. Ignorar los caracteres no validos hasta formar un token aceptado.
  2. Borrar los caracteres inválidos
  3. Insertar un carácter que pudiera ser necesario.
  4. Reemplazar un carácter incorrecto o reemplazar caracteres adyacentes
Definición Del Vocabulario Básico Para Un Analizador Léxico.
1. Componente léxico o token: Son los elementos del lenguaje con sentido lógico propio.
2. Lexema: Secuencia de caracteres del código fuente que concuerda con el patrón de un token.
3. Tabla de componentes léxicos o tablas de tokens: estructura de datos donde se almacenan los tokens.
4. Atributos de los componentes léxicos: Es la información adicional sobre los tokens, (el número de atributos y la forma de implementar las distintas fases del compilador.
5. Alfabeto: Es un conjunto finito y no vacío de símbolos.
  1. Cadena: secuencia finita de símbolos
  2. Cadena vacía:
  3. Operación de cadenas o palabras.
    1. Longitud:: es el numero de símbolos que forman la cadena.
    2. Concatenación
    3. Igualdad de cadenas.
    4. Potencia de cadenas.
6. Lenguajes regulares: ver imagen.
  1. Elementos de un lenguaje. Ver imagen.
    1. Operaciones con lenguajes: ver imagen
      1. Expresiones regulades: una ER es una forma abreviada de representar cadenas de caracteres.
        Concatenación
        Unión.
        Cierre o clausura.
      2. Abreviatura en la notación: ver imagen.
        AFD. un autómata finito determinista.
        AFN autómata finito no determinista.
        Diferencia entre AFN y AFD
        Equivalencia entre AFN y AFD
        Autómata finito no determinista con transiciones nulas.
        Expresiones básicas. Ver imagen.
Especificación de un analizador léxico.
1. Existen tres métodos generales.
  1. Utilizar un generador de analizadores léxicos, como el compilador LEX.
  2. Escribir el analizador léxico en un lenguaje convencional de programación en sistemas.
  3. Escribir el analizador léxico en lenguaje ensamblador y manejar explícitamente la lectura de la entrada.
2. Reconocimiento de los componentes léxicos.
  1. Consta de una serie de pasos a seguir para la implementacion de un analizador.
    1. Crear tabla de tokens con :
      1. Nombre del componente léxico.
      2. Lexema de ejemplo.
      3. Descriptor informal del patrón.
    2. Construir un diagrama de transiciones para poder reconocer las diferentes cadenas del código fuente.
      1. Para DT podemos seguir los siguientes pasos.
        Obtener la expresión regular asociada a la especificación del lenguaje de programación.
        De la expresión regular crearemos el AFN-e que acepte el lenguaje asociado a dicha expresión regular.
        Obtener el AFN equivalente al AFN-e anterior, esto es, que acepte el mismo lenguaje.
        Transformar el AFN obtenido en un AFD
        Minimizar el AFD resultante, que compruebe si las cadenas de caracteres pertenecen o no al lenguaje.
        Obtener el DT a partir del AFD. De este modo, este s funcionará ya como un analizador léxico.
        Implementación del DT
        La interacción entre las fases léxicas y sintacticas.
        El procedimiento de identificación de palabras reservadas del lenguaje de programación que queremos compilar.
        Otros factores que afectan a la implementación es el lenguaje de programación en el que la llevemos a cabo.
Video de analizador
1. Direcci´ñon de video URL: https://youtu.be/zS2Bw8vOZYU

Next up

Analizador Léxico.

Description

Resource summary

Media attachments

Similar

	Created by Aliss Sáchez over 5 years ago