METHODS, SYSTEMS, ARTICLES OF MANUFACTURE AND APPARATUS FOR LEXICAL ANALYSIS

Systems, apparatus, articles of manufacture, and methods are disclosed for lexical analysis. An example apparatus includes interface circuitry, machine readable instructions, and programmable circuitry to at least one of instantiate or execute the machine readable instructions to encode tokens with token semantic characteristics, encode the tokens with token lexical characteristics to generate encoded tokens, respective ones of the encoded tokens including at least one of the semantic characteristics and at least one of the lexical characteristics, and identify a match between two of the encoded tokens. L'invention concerne des systèmes, un appareil, des articles manufacturés et des procédés d'analyse lexicale. Un appareil donné à titre d'exemple comprend des circuits d'interface, des instructions lisibles par machine et des circuits programmables pour instancier et/ou exécuter les instructions lisibles par machine pour coder des jetons avec des caractéristiques sémantiques de jeton, coder les jetons avec des caractéristiques lexicales de jeton pour générer des jetons codés, des jetons codés respectifs parmi les jetons codés comprenant au moins l'une des caractéristiques sémantiques et au moins l'une des caractéristiques lexicales, et identifier une correspondance entre deux des jetons codés.