Componente léxico (token)

Son las unidades lógicas que genera el analizador léxico. Formar caracteres
en tokens es muy parecido a formar palabras en un lenguaje natural.
• Un token es un par que consiste en un nombre de token y un valor de atributo
opcional. El nombre del token es un símbolo abstracto que representa un tipo de
unidad léxica; por ejemplo, una palabra clave específica o una secuencia de
caracteres de entrada que denotan un identificador. Los nombres de los tokens
son los símbolos de entrada que procesa el analizador sin táctico.
Es el conjunto de cadenas de entrada que produce como salida el mismo
componente léxico. Cada token es una secuencia de caracteres que representa
una unidad de información en el programa fuente.

Los componentes léxicos más comunes son los siguientes:

palabras clave o reservadas

- operadores aritméticos - operadores relacionales

-operadores lógicos -operador de asignación
-identificadores -constantes
-cadenas -literales
-signos de puntuación -librerías
 Lexema

Representan cadenas de caracteres en el programa fuente que se pueden tratar

juntos como una unidad léxica. Un lexema es una secuencia de caracteres en el
programa fuente con la que concuerda el patrón para un componente léxico.
• Un lexema es una secuencia de caracteres en el programa fuente, que coinciden
con el patrón para un token y que el analizador léxico identifica como una instancia
de ese token.

Patrón

• Un patrón es una descripción de la forma que pueden tomar los lexemas de un

token. En el caso de una palabra clave como token, e l patrón es sólo la secuencia
de caracteres que forman la palabra clave. Para los identificadores y algunos otros
tokens, el patrón es una estructura más compleja que se relaciona mediante
muchas cadenas
Regla que describe el conjunto de lexemas que pueden representar a un
determinado componente léxico en los programas fuente.
En otras palabras, es la descripción del componente léxico mediante una regla.

Atributos de los componentes léxicos

El analizador léxico recoge información sobre los componentes léxicos en sus
atributos asociados. Los componentes léxicos influyen en las decisiones del
análisis sintáctico y los atributos en la traducción de los componentes léxicos:
- Apuntador a la entrada de la Tabla de símbolos donde se guarda la información
sobre el componente léxico.
- El lexema para un identificador
- El número de línea en que se encontró por primera vez.