instance method Ripper::Lexer#lex

自身の持つ Ruby プログラムをトークンに分割し、そのリストを返します。

ライブラリ内部で使用します。 Ripper.lex を使用してください。