Un analizador léxico o analizador lexicográfico (en inglésscanner o tokenizer) es la primera fase de un compilador, consistente en un programa que recibe como entrada el código fuente de otro programa (secuencia de caracteres) y produce una salida compuesta de tokens (componentes léxicos) o símbolos. Estos tokens sirven para una posterior etapa del proceso de traducción, siendo la entrada para el analizador sintáctico (en inglés parser).
La especificación de un lenguaje de programación a menudo incluye un conjunto de reglas que definen el léxico. Estas reglas consisten comúnmente en expresiones regulares que indican el conjunto de posibles secuencias de caracteres que definen un token o lexema.
En algunos lenguajes de programación es necesario establecer patrones para caracteres especiales (como el espacio en blanco) que la gramática pueda reconocer sin que constituya un token en sí.
Análisis
Esta etapa está basada usualmente en una máquina de estados finitos. Esta máquina contiene la información de las posibles secuencias de caracteres que puede conformar cualquier token que sea parte del lenguaje (las instancias individuales de estas secuencias de caracteres son denominados lexemas). Por ejemplo, un token de naturaleza entero puede contener cualquier secuencia de caracteres numéricos.
Aho, Alfred V.; Sethi, Ravi; Ullman, Jeffrey D. (1998). Compiladores: Principios, técnicas y herramientas. Traductores:Pedro Flores Suárez, Pere Botella i López (ilustrada edición). Pearson Educación. p. 820. ISBN9684443331.
Referencias
Datos:Q835922
Agosto 09, 2021
analizador, léxico, este, artículo, sección, necesita, referencias, aparezcan, publicación, acreditada, este, aviso, puesto, mayo, 2017, analizador, léxico, analizador, lexicográfico, inglés, scanner, tokenizer, primera, fase, compilador, consistente, programa. Este articulo o seccion necesita referencias que aparezcan en una publicacion acreditada Este aviso fue puesto el 27 de mayo de 2017 Un analizador lexico o analizador lexicografico en ingles scanner o tokenizer es la primera fase de un compilador consistente en un programa que recibe como entrada el codigo fuente de otro programa secuencia de caracteres y produce una salida compuesta de tokens componentes lexicos o simbolos Estos tokens sirven para una posterior etapa del proceso de traduccion siendo la entrada para el analizador sintactico en ingles parser La especificacion de un lenguaje de programacion a menudo incluye un conjunto de reglas que definen el lexico Estas reglas consisten comunmente en expresiones regulares que indican el conjunto de posibles secuencias de caracteres que definen un token o lexema En algunos lenguajes de programacion es necesario establecer patrones para caracteres especiales como el espacio en blanco que la gramatica pueda reconocer sin que constituya un token en si Indice 1 Analisis 2 Vease tambien 3 Bibliografia 4 ReferenciasAnalisis EditarEsta etapa esta basada usualmente en una maquina de estados finitos Esta maquina contiene la informacion de las posibles secuencias de caracteres que puede conformar cualquier token que sea parte del lenguaje las instancias individuales de estas secuencias de caracteres son denominados lexemas Por ejemplo un token de naturaleza entero puede contener cualquier secuencia de caracteres numericos Vease tambien EditarAnalizador sintactico Linguistica computacional Lex FlexBibliografia EditarAho Alfred V Sethi Ravi Ullman Jeffrey D 1998 Compiladores Principios tecnicas y herramientas Traductores Pedro Flores Suarez Pere Botella i Lopez ilustrada edicion Pearson Educacion p 820 ISBN 9684443331 Referencias Editar Datos Q835922Obtenido de https es wikipedia org w index php title Analizador lexico amp oldid 133817608, wikipedia, wiki, leyendo, leer, libro, biblioteca,
