プログラム ewbtokenfactory.sf.net

PHP 用の EWBTokenFactory は、空白を含むトークナイザーです。ほとんどのトークナイザーは、各単語をトークンとして取得し、空白をドロップします。このトークナイザーは、その間のスペースを自分のトークンにトークン化します。関連付けられたトークン データもサポートしています。