instance method Ripper::Lexer#tokenize

自身の持つ Ruby プログラムをトークンに分割し、そのリストを返します。

ライブラリ内部で使用します。 Ripper.tokenize を使用してください。