プログラム tokex.sf.net

これは Linux コマンドライン トークナイザ ユーティリティです。これは、ファイルだけでなく、コンソールからの入力を受け入れ、ユーザーに "Tokenizer インデックス文字"を入力するように求めます。