Ruby 2.3.0 リファレンスマニュアル > ライブラリ一覧 > ripper/lexerライブラリ > Ripperクラス > tokenize
tokenize(src, filename = '-', lineno = 1) -> [String]
[permalink][rdoc] [added by ripper/lexer]
Ruby プログラム str をトークンに分割し、そのリストを返します。
使用例
require 'ripper' p Ripper.tokenize("def m(a) nil end") #=> ["def", " ", "m", "(", "a", ")", " ", "nil", " ", "end"]
Ripper.tokenize は空白やコメントも含め、 元の文字列にある文字は 1 バイトも残さずに分割します。 ただし、ごく僅かな例外として、__END__ 以降の文字列は黙って捨てられます。 これは現在のところ仕様と考えてください。