funciones del analizador léxico

 El analizador léxico es la primera fase de un compilador o intérprete y desempeña varias funciones clave:

1. Reconocimiento de Tokens: Identifica y clasifica unidades léxicas (tokens) en el código fuente, como identificadores, palabras clave, números y símbolos.

2. Eliminación de Espacios en Blanco: Elimina espacios en blanco y comentarios que no son relevantes para la posterior etapa de análisis.

3. Manejo de Errores: Detecta errores léxicos, como palabras no reconocidas, y puede proporcionar mensajes de error claros.

4. Generación de Tabla de Símbolos: Puede mantener una tabla de símbolos que almacena información sobre los identificadores encontrados, como su tipo y ubicación.

5. Normalización: En algunos casos, normaliza la entrada, por ejemplo, convirtiendo todas las letras a minúsculas para garantizar la consistencia en el análisis posterior.

6. Optimización: En lenguajes de programación, el analizador léxico también puede realizar optimizaciones simples, como la eliminación de declaraciones o secciones de código inalcanzables.