Ein Lexer ist ein lexikalischer Scanner, welcher beispielsweise in der Phase der lexikalischen Analyse von Compilern eingesetzt wird. Dabei wird eine Folge von Eingaben nach den Regeln einer regulären Grammatik in sog. Tokens umgewandelt. Ein Token ist  eine lexikalische Grundeinheit welche von einem Parser bearbeitet wird: ein Textfragment mit einer grammatikalischen Bedeutung. In der Phase des Parsens wird das Token mit einem Terminalsymbol einer bestimmten Grammatik abgeglichen. Falls das Token zu  dem Terminalsymbol passt, kann die dazugehörige Regel dieser Grammatik umgesetzt werden. Der Scanner filtert aus dem Quellcode Schlüsselwörter, Operatoren, Konstanten und Bezeichner heraus. Er ist ein oft vorgeschalteter spezieller Parser, welcher Tokens  erkennt und mit dem jeweiligen Typ ausgibt, wonach der eigentliche Parser seine Arbeit aufnimmt.