文字入力ストリームからデータを解析し、トークンを生成する。