Токен (лексический анализ)

Эта статья находится на начальном уровне проработки, в одной из её версий выборочно используется текст из источника, распространяемого под свободной лицензией
Материал из энциклопедии Руниверсалис

То́кен (англ. token) — объект, создающийся из лексемы в процессе лексического анализа («токенизации», от англ. tokenizing).

В прикладном программировании понятие токена и его лексема могут не различаться.

Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.

Примеры
тип токена примеры лексем описание
num 257 число
id Ident951 идентификатор
relop <= операция отношения
string «Cимвол» строчная постоянная