プログラム ctokenizer.sf.net

CTokenizer は、入力として C++ 構文を受け取り、トークン文字列と a(n 列挙) トークン型を含む CToken オブジェクトのベクターを出力し、これを使用して入力を解析できます。