tokenizer什么意思,stringtokenizer用法

Tokenizer如果大家用过HuggingFace，对tokenizer肯定不会陌生这是什么意思呢？如下图所示，假设词汇表一共有6个词，则one。