Token ( englanniksi token ) on objekti , joka on luotu lekseemista leksikaalisen analyysin prosessissa ( "tokenization", englanniksi tokenizing ).
Sovellusohjelmoinnissa tunnuksen ja sen tunnuksen käsite ei välttämättä eroa toisistaan.
Token-malli on muodollinen kuvaus tunnusluokista, jotka voivat luoda tietyn tyyppisen tunnuksen.
| token tyyppi | esimerkkejä tokeneista | kuvaus |
|---|---|---|
| nro | 257 | määrä |
| id | Ident951 | tunniste |
| relop | <= | suhteen toimintaa |
| merkkijono | "Symboli" | pienten kirjainten vakio |