PHP-Parser で PHP5からPHP7で動くコードに自動修正するツールを作る夢をみた

2020-12-29
phpphpstanastphp%20parser
    

目次

概要

PHP5からPHP7への移行ツールを作るための解析・自動修正ツールを調べる の続きです。 PHP-Parser を利用して PHP5でしか動作しないコードをPHP7で動作するコードに再生成するための夢のような自動変換ツールが作れないか考えてみました。

ツールが備える機能条件

ここで、「PHP5でしか動作しないコードをPHP7で動作するコードに再生成するためのツール」が備える機能の条件を以下としています。

  • 非推奨/廃止となった関数の置換
  • 関数/変数/クラス/例外クラスの置換
  • ファイルパスの修正
  • 引数の追加・変更
  • 型の判定・キャスト (例えばPHP5のcount()の場合、count(false)だと1、count(null)だと0になるがphp7ではwarning)

PHP-Parser について

This is a PHP 5.2 to PHP 8.0 parser written in PHP. Its purpose is to simplify static code analysis and manipulation.

nikic/PHP-Parser https://github.com/nikic/PHP-Parser

PHP5.2からPHP8までに対応したパーサであり。静的解析や操作を行うためのツールです。

こんな特徴があると説明されています。

  • PHP 5、PHP 7、およびPHP 8コードを抽象構文木(AST)に解析
  • ASTを可読形式で吐き出し
  • ASTをPHPコードに再生成
  • ASTを走査および変更するための基礎的なツール
  • 名前空間名の解決
  • 定数式の評価
  • コード生成のためのAST構築を簡素化するビルダーを備える
  • ASTをJSONに変換して戻す

PHP-Parser の簡単なサンプル

まずは簡単なサンプルを紹介します。

<?php
$code = <<<EOT
<?php
if ($var === true) {
    echo "hello";
}
EOT;
$parser = (new PhpParser\ParserFactory)->create(PhpParser\ParserFactory::PREFER_PHP7);
$stmts = $parser->parse($code);
// var_dump($stmts);
$printer = new PhpParser\PrettyPrinter\Standard();
$result = $printer->prettyPrintFile($stmts);
// echo $result;

このサンプルコードはphpファイルを読み込んでASTに分解した後、再度コードを生成するソースです。

この時変数 $stmts はパースされたコードに関する情報を保持する次のようなオブジェクトです。

array(1) {
  [0]=>
  object(PhpParser\Node\Stmt\If_)#1149 (5) {
    ["cond"]=>
    object(PhpParser\Node\Expr\BinaryOp\Identical)#1146 (3) {
      ["left"]=>
      object(PhpParser\Node\Expr\Variable)#1143 (2) {
        ["name"]=>
        string(3) "var"
        ["attributes":protected]=>
        array(2) {
          ["startLine"]=>
          int(2)
          ["endLine"]=>
          int(2)
        }
      }
      ["right"]=>
      object(PhpParser\Node\Expr\ConstFetch)#1145 (2) {
        ["name"]=>
        object(PhpParser\Node\Name)#1144 (2) {
          ["parts"]=>
          array(1) {
            [0]=>
            string(4) "true"
          }
          ["attributes":protected]=>
          array(2) {
            ["startLine"]=>
            int(2)
            ["endLine"]=>
            int(2)
          }
        }
        ["attributes":protected]=>
        array(2) {
          ["startLine"]=>
          int(2)
          ["endLine"]=>
          int(2)
        }
      }
      ["attributes":protected]=>
      array(2) {
        ["startLine"]=>
        int(2)
        ["endLine"]=>
        int(2)
      }
    }
    ["stmts"]=>
    array(1) {
      [0]=>
      object(PhpParser\Node\Stmt\Echo_)#1148 (2) {
        ["exprs"]=>
        array(1) {
          [0]=>
          object(PhpParser\Node\Scalar\String_)#1147 (2) {
            ["value"]=>
            string(5) "hello"
            ["attributes":protected]=>
            array(3) {
              ["startLine"]=>
              int(3)
              ["endLine"]=>
              int(3)
              ["kind"]=>
              int(2)
            }
          }
        }
        ["attributes":protected]=>
        array(2) {
          ["startLine"]=>
          int(3)
          ["endLine"]=>
          int(3)
        }
      }
    }
    ["elseifs"]=>
    array(0) {
    }
    ["else"]=>
    NULL
    ["attributes":protected]=>
    array(2) {
      ["startLine"]=>
      int(2)
      ["endLine"]=>
      int(4)
    }
  }
}

PhpParser\PrettyPrinter\Standard::prettyPrintFile()によってパースされたオブジェクトからコードを再生成することができます。

コードの自動修正ツールは、パースされたオブジェクトに変更を加えコードを再生成を行うことでコードの自動修正が行う仕組みを利用して実装します。

ASTオブジェクトの置換・変更

先程のサンプルコードを拡張してソースコードを書き換える処理を作ります。 次のサンプルは hello という文字列が存在したら hello world に置換するコードです。

<?php
$code = <<<EOT
<?php
if ($var === true) {
    echo 'hello';
}
EOT;

class HelloWorldNodeVisitor extends NodeVisitorAbstract
{
    public function leaveNode(Node $node)
    {
        if ($node instanceof Node\Scalar\String_ && $node->value === 'hello') {
            $node->value = 'hello world';
        }
    }
}

$parser = (new PhpParser\ParserFactory)->create(PhpParser\ParserFactory::PREFER_PHP7);
$stmts = $parser->parse($code);
$traverser = new NodeTraverser;
$traverser->addVisitor(new HelloWorldNodeVisitor);
$stmts = $traverser->traverse($stmts);
$printer = new PhpParser\PrettyPrinter\Standard();
$result = $printer->prettyPrintFile($stmts);
// <?php
// if ($var === true) {
//     echo 'hello world';
// }

NodeTraverserオブジェクトにNodeVisitorインタフェースを実装したオブジェクトをセットすることでASTオブジェクトを走査する際に書き換え処理を行います。 上記のサンプルコードではNodeVisitorインタフェースを実装したNodeVisitorAbstractクラスを継承したオブジェクトを利用しています。

PHP5からPHP7への変更内容を実装する

次のようなサンプルコードを用意しました。これはphpのバージョンを5から7へ変更した際に問題となる部分が要素が含まれているコードです。

<?php
//ex1 includeするパスを path/to/foo から path/to/bar に変更する
include("path/to/foo");
include_once("path/to/foo");
require("path/to/foo");
require_once("path/to/foo");
// include("path/to/foo");
$include = "path/to/foo";

//ex2 catchする例外クラスを Exception から Throwable に変更
try {
    $callable = function (Exception $obj) {
        var_dump($obj);
        return true;
    };
} catch (Exception $err) {
    print_r($err);
}

//ex3 廃止関数の置換
{
    $str = "123";
    ereg("/[0-9]/", $str);
    call_user_method('strCount', $str);
    mysql_connect("host", "user", "password");
}

//ex4 クラス名(宣言・継承)の変更
class Int {}
class Num extends Int {}

//ex5 引数の調整
$var1 = null;
$num = count($var1);
$var2 = false;
$num = count($var2);
$var3 = array();
$num = count($var3, COUNT_RECURSIVE);

function toArrayForCount($arg): array
{
    if (is_countable($arg)) {
        return $arg;
    }
    if (is_null($arg)) {
        return [];
    }
    if ($arg === false) {
        return [1];
    }
    return [];
}

ex1 includeパスを変更する

これはphp5→7とは関係ありませんが、ソースコード中のパスを一括変換したいと言う場面はあると思うので用意しました。 次のようなクラスを用意しました。

class IncludePathVisitor extends NodeVisitorAbstract
{
    public function leaveNode(Node $node)
    {
        if ($node instanceof Node\Expr\Include_) {
            if ($node->expr->value === "path/to/foo") {
                $node->expr->value = "path/to/bar";
            }
        }
    }
}

ex2 例外クラスを Exception から Throwable に

PHP5で存在したE_*エラーがPHP7からThrowableを継承するERRORクラスとなりました。 全ての例外を拾うため catch している ExceptionThrowable に変更する次のようなクラスを用意しました。

class StmtCatchVisitor extends NodeVisitorAbstract
{
    public function leaveNode(Node $node)
    {
        if ($node instanceof Node\Stmt\Catch_ && $node->types[0]->parts[0] === 'Exception') {
            $node->types[0]->parts[0] = 'Throwable';
        }
    }
}

ex3 廃止関数の置換

PHP7からいくつか廃止された菅すが存在します。 例えば、ereg_* call_user_method mysql_* です。

class FunctionReplaceVisitor extends NodeVisitorAbstract
{
    public function leaveNode(Node $node)
    {
        if ($node instanceof Node\Expr\FuncCall && $node->name->getLast() === 'ereg') {
            $node->name->parts = ['preg_match'];
        }
        if ($node instanceof Node\Expr\FuncCall && $node->name->getLast() === 'call_user_method') {
            $node->name->parts = ['call_user_func'];
        }
        if ($node instanceof Node\Expr\FuncCall && $node->name->getLast() === 'mysql_connect') {
            $node->name->parts = ['mysqli_connect'];
        }
    }
}

ex4 クラス名(宣言・継承)の変更

クラス名などでは予約語が利用できませんが、PHP7では新たに予約語が追加されました。 例えば、int float bool などです。これに対応するのは次のクラスです。 処理としては別の固定されたクラス名に置き換えているだけなので場合によっては考慮が必要です。

class ClassReplaceVisitor extends NodeVisitorAbstract
{
    public function leaveNode(Node $node)
    {
        if (!($node instanceof Node\Stmt\Class_)) {
            return;
        }
        if ($node->name->name === 'Int') {
            $node->name->name = 'IntObj';
        }
        if ($node->extends !== NULL && $node->extends->parts[0] === 'Int') {
            $node->extends->parts[0] = 'IntObj';
        }
    }
}

ex5 引数の調整

count関数はcountableな値以外は警告を発するようになりました。なのでcountableかどうかチェックする必要が出てきました。

count関数の引数にtoArrayForCountFuncで値を加工(=countableな値に変更)してphp5のcountと同様の動きをするように変更します(←どうかと思うが)

class CountFuncArgInjectionVisitor extends NodeVisitorAbstract
{
    public function leaveNode(Node $node)
    {
        if ($node instanceof Node\Expr\FuncCall && $node->name->getLast() === 'count') {
            $tmp = $node->args[0]->value;
            $func = new PhpParser\Node\Expr\FuncCall(
                new PhpParser\Node\Name('toArrayForCount')
            );
            $func->args = [
                new PhpParser\Node\Arg($tmp),
            ];
            $node->args[0] = $func;
        }
    }
}

結果

こうなりました。

<?php
//ex1 includeするパスを path/to/foo から path/to/bar に変更する
include("path/to/bar");
include_once("path/to/bar");
require("path/to/bar");
require_once("path/to/bar");
// include("path/to/foo");
$include = "path/to/foo";

//ex2 catchする例外クラスを Exception から Throwable に変更
try {
    $callable = function (Exception $obj) {
        var_dump($obj);
        return true;
    };
} catch (Throwable $err) {
    print_r($err);
}

//ex3 廃止関数の置換
{
    $str = "123";
    preg_match("/[0-9]/", $str);
    call_user_func('strCount', $str);
    mysqli_connect("host", "user", "password");
}

//ex4 クラス名(宣言・継承)の変更
class IntObj {}
class Num extends IntObj {}

//ex5 引数の調整
$var1 = null;
$num = count(toArrayForCount($var1));
$var2 = false;
$num = count(toArrayForCount($var2));
$var3 = array();
$num = count(toArrayForCount($var3), COUNT_RECURSIVE);

function toArrayForCount($arg): array
{
    if (is_countable($arg)) {
        return $arg;
    }
    if (is_null($arg)) {
        return [];
    }
    if ($arg === false) {
        return [1];
    }
    return [];
}

所感

自動変換する機構自体はそこそこ作れそうな感じでした。 しかしながら1つのルールに対しての実装コストが大きく静的解析ツール(PHPStanなど)を利用しながら手動で修正して行くのが無難かなと思った次第です。 ソースコードの規模が大きいほど、このようなやり方は効果を発揮するでしょう。

参考にしたサイト

nikic/PHP-Parser入門 https://qiita.com/gong023/items/4c8401e03d843fd15122

PHPでPHPを実装する https://blog.freedom-man.com/phphp

nikic/PHP-Parser を使ってPHPコードをパースして出来る事とサンプル https://qiita.com/yotsak/items/858cfb6ea7a7563d8059

    

関連記事

PostfixでメールリレーしてMailHogで受信する開発用Dockerコンテナの構築
環境 Dockerイメージ作成 コンテナの起動 telnetで送信テスト phpで送信テスト Postfixのリレーを介して送信されたメールをMailHog(開発用SMTPサーバ)でキャッチするDocker開発環境を構築した際のメモです。 環境 Docker…

php-fpmのステータスページを表示 Apache & htaccess
試した環境 php-fpm の pm.status_path について php-fpmのconfの設定 .htaccess の設定 アクセスしてみる 参考にしたサイト Apache環境で php-fpm のステータスページを htaccess…

Homebrew で php7.4 + Xdebug をインストール
php7.4のインストール Xdebugのインストール php.ini に追記 参考にさせていただいたサイト phpunitのカバレッジを算出を行うためにMacにHomebrewでphp7.4をインストールしようとした際の記録です。 php7.…

PHP-FPM(php7.4) Apache2.4 on Ubutnu20.04 Webサーバ構築
環境 パッケージの更新 Apache と PHP のインストール Apache のサービスを開始する PHPファイルを作成 参考にしたサイト Ubuntu20.04 に PHP7.4 + Apache2.4 をインストールしてWeb…

PHP-FPM(php7.4) Apache2.4 でWebサーバ構築 on CentOS8
環境 php7.4 のインストール apacheのインストール php-fpmの設定を変更する php-fpm の起動 apacheの起動 確認 おまけ: エラーと解決方法 "System has not been booted with systemd as…

CentOS8 に PHP7.4 インストール
環境 普通にインストールしようとするとphp7.2がインストールされる modularityについて php7.4 インストール CentOS8 に modularity を利用して PHP7.4をインストールした際のメモです。 環境 CentOS8.…

UNIXドメインソケット通信 vs INETドメインソケット通信 php-fpmで動作させる場合の違いについて
結論 ソケット通信について ソケットについて ソケット通信の種類 UNIXドメインソケット通信を行う場合のメリット 参考にしたサイト php-fpm の設定方法で調べた際にIPとポートで設定するパターンとUNIX…

PHP5からPHP7への移行ツールを作るための解析・自動修正ツールを調べる
PHP5からPHP7への下位互換のない機能 使えそうなツールの洗い出し PHPStan phan php7cc php7mar php-to-7-aid Rector php-ast PHP-Parser まとめ 追記 (2021/01/0…

Amazon S3 と ローカルファイルのチェックサムの比較
s3apiでEtagを取得 検証 マルチアップロード時の注意点 Amazon S3 の Etagを使ってファイルの整合性チェックをする。 s3apiでEtagを取得 S3 APIを利用するとEtagを取得します。この値はmd5のハッシュ値になります。 検証 MD…

WordPressのDBから記事データを抽出する
WordPressのDB関連図 公開記事一覧の取得 タグ・カテゴリの取得 サムネイルの取得 おまけ: PHPスクリプト化しました 参考にしたところ WordPressにため込んだデータMarkdown化しGatsby…

最新の投稿

JavaScriptで優先度付きキューを実装する
優先度付きキューについて ソース 参考 JavaScriptで優先度付きキュー (プライオリティキュー) を実装する 優先度付きキューについて 具体的には次のような機能があります。 キューに対して要素を優先度付きで追加 (push…

AWS Amplify で コンテナベースのデプロイを行い REST API を構築
検証した環境 やってみる 初期準備 パイプラインを確認 終了処理 参考 AWS Amplify で コンテナベースのデプロイを行い REST API を構築した際のメモです。 検証した環境 amplify 5.1.…

Pythonでソケット通信を実装しメッセージの送受信を行う
ソース server.py client.py 動かしてみる 参考 Pythonでソケット通信を実現する方法です。 ソース server.py サーバ側のソースです。 client.py…

next_permutationをJSで実装する
ソース 使い方 参考 C++で提供されている順列を生成する next_permutation のJS実装です。 ソース 順列が存在する場合はtrueを返し、そうでなければfalse…

応用情報技術者試験の合格体験記
受験時のステータス 受験結果 対策 スケジュール 午前問題 午後問題 参考書等 令和…

[JS]ラジアンから度数に度数からラジアンに変換する
コード 度数からラジアンへ ラジアンから度数へ サンプル ラジアンから度数に度数からラジアンに変換する際のスニペット。 コード 度数からラジアンへ ラジアンから度数へ サンプル

CentOS8 に Python + OpenCV をインストール
インストール テスト CentOS8 で標準で提供されているパッケージで Python + OpenCV 環境を構築する方法です。 検証した環境は CentOS8.3 (Docker) です。 インストール まず opencv…

[Perl] CentOS8 に plenv をインストール
インストール Step1 事前準備 Step2 PATHを通す (README通りにインストール) Step2 PATHを通す ($HOME以外にplenvをインストール) Step3 Perlインストール Step4 cpanmインストール CentOS…

JS/TSのclassでclass名を取得する
コード JS/TSのconstructorを利用して自分自身のクラス名を取得する際のメモ。 コード このコードの結果は次のようになります。

CentOS6(Docker)でyum update できなくなった
エラー内容 対応 CentOS6.10 で yum update しようとしたところエラーが出てアップデートできなかったので対応した時の記録 エラー内容 以下のようなエラーが出ました。 対応 を以下のように変更したところ解決しました。

Tags

Dates

s-yoshiki
s-yoshiki
githubtwitterqiita
Web作ってますが、インタラクティブなプログラミングも好きです。
JavaScript / Vue / node.js / PHP / AWS / OpenCV
© 2021   404 motivation not found