CakePHP3でPHP Simple HTML DOM Parserを使ってスクレイピングする方法

2020/01/29 2020/02/08

CakePHP3＋PHP Simple HTML DOM Parserでスクレイピング

CakePHP3＋PHP Simple HTML DOM Parserでスクレイピング解説記事の事前説明

　
この記事は、CakePHP3に PHP Simple HTML DOM Parserをインストールしてスクレイピングをする環境を作る解説をするという内容です。
　
　
PHPでスクレイピングというと「phpQuery」に関連する記事が大量に出てきますが、「phpQuery」ではなく「PHP Simple HTML DOM Parser」の方をオススメする理由を「PHPでスクレイピング。phpQueryとphp-simple-html-dom-parserの比較と設置方法」として記事にしましたので、興味があれば読んでください。
また、この記事では、PHP Simple HTML DOM Parserの基本的な設置方法も書いています。
　
　
また、PHP Simple HTML DOM Parserの設置方法、基本的な使い方については「PHPのスクレイピングライブラリ「PHP Simple HTML DOM Parser」の使い方」として記事にしていますのでこちらを参考にしてください。
　
この記事に書いてあるのは、CakePHP3で PHP Simple HTML DOM Parserを使えるようにするところまでの内容です。
　
　
スクレイピングをする前に、PHPから Webサイトにアクセスする方法としては「file_get_contents」より「cURL」の方をオススメしますが、その理由を「PHPのcURLでAPIやWebサイトへのアクセス方法。file_get_contentsとの比較」として記事にしていますのでこちらも参考にしてください。
　
ただ、CakePHP3の場合は、Http Clientというライブラリが用意されていますので、それを利用するといいでしょう。
　
　

CakePHP3に PHP Simple HTML DOM Parserを設置する方法

１．PHP Simple HTML DOM Parser のインストール

　
まず初めに「PHP Simple HTML DOM Parser」をインストールします。
　
CakePHP3では、composerを使ってライブラリをインストールします。
下記のコマンドを実行します。
　

$ composer require kub-at/php-simple-html-dom-parser

1	$ composer require kub-at/php-simple-html-dom-parser

　
　
他の環境に合わせるために「PHP Simple HTML DOM Parser」のバージョンを指定してインストールする場合は、下記の「:1.9」のように最後にバージョンを追加します。
　

$ composer require kub-at/php-simple-html-dom-parser:1.9

1	$ composer require kub-at/php-simple-html-dom-parser:1.9

　
詳しくは「CakePHP3でcomposerを利用してライブラリ・プラグインをインストールする方法」を参照してください。
　
　

２．PHP Simple HTML DOM Parserを読み込む

　
続いて、インストールした PHP Simple HTML DOM Parserを CakePHP3で使うために呼び出す処理を記述します。
　

use KubAT\PhpSimple\HtmlDomParser;

1	use KubAT\PhpSimple\HtmlDomParser;

　
　
例えば、SampleController.phpで PHP Simple HTML DOM Parserを使うのであれば、SampleController.phpに記述します。
　
　
これで PHP Simple HTML DOM Parserは使えるようになります。
　
　

３．PHP Simple HTML DOM Parserでスクレイピングをするサンプルソース

　
前項までで PHP Simple HTML DOM Parserを使う準備はできましたので、この後では実際にスクレイピングをするサンプルソースを書いておきます。
　
　
その前に、スクレイピングをするためには Webサイトを読み込む必要がありますので、 Http Clientなどを利用することになります。
　
そのために、前項で追記した内容の次の行あたりに下記を追記します。
　

use Cake\Http\Client;

1	use Cake\Http\Client;

　
　
そして、スクレイピングを行う処理のサンプルソースは以下のようになります。
　

    public function index(){
        // UserAgent
        define("USER_AGENT_TEXT", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36");

        // スクレイピング対象サイトの URL
        $url = "https://www.yahoo.co.jp/";

        // UAがないとエラーになるサイトの場合は、UAを設定する
        $option = ['headers' => ['User-Agent' => USER_AGENT_TEXT]];

        $http = new Client($option);

        // URLにアクセスし HTMLを取得
        $htmlSource  = $http->get($url)->getStringBody();

        // HTMLファイルから DOMオブジェクトを作成
        $html = HtmlDomParser::str_get_html($htmlSource);

        // スクレイピング（「a」タグを取得）
        echo implode("<br>", $html->find("a"));
    }

public function index(){

// UserAgent

define("USER_AGENT_TEXT", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36");

// スクレイピング対象サイトの URL

$url = "https://www.yahoo.co.jp/";

// UAがないとエラーになるサイトの場合は、UAを設定する

$option = ['headers' => ['User-Agent' => USER_AGENT_TEXT]];

$http = new Client($option);

// URLにアクセスし HTMLを取得

$htmlSource = $http->get($url)->getStringBody();

// HTMLファイルから DOMオブジェクトを作成

$html = HtmlDomParser::str_get_html($htmlSource);

// スクレイピング（「a」タグを取得）

echo implode("<br>", $html->find("a"));

}

　
ヤフーのサイト「https://www.yahoo.co.jp/」から、「a」タグを取得し、それを画面に表示する、というソースになっています。
　
それぞれの行にコメントを書いているので処理内容は分かるかと思います。
　
　
最初にも書きましたが、PHP Simple HTML DOM Parserの具体的な使い方に関しては「PHPのスクレイピングライブラリ「PHP Simple HTML DOM Parser」の使い方」を参照してください。
　
　

http client()に User Agentを指定する方法

　
PHPから Webサイトにアクセスするときは、cURLを使うことをオススメします、と下記の記事でも書きました。
PHPのcURLでAPIやWebサイトへのアクセス方法。file_get_contentsとの比較
　
　
ですが、CakePHP3には http client() という便利なライブラリが用意されていますのでこれを利用すると便利です。
　
Cookbook　Http Client
https://book.cakephp.org/3/ja/core-libraries/httpclient.html
　
http、httpsを区別なくアクセスすることができたり、POSTでリクエストボディを送信できたり、Basic認証や OAuth2認証なども処理してくれます。
　
　
Http Clientの基本的な使い方に関しては、上記の Cookbookに書いてありますので参照してもらえるといいのですが、User Agentを設定してサイトにアクセスする方法の記載がありませんでしたのでここで解説をしておきます。
　

// UAがないとエラーになるサイトの場合は、UAを設定する
$option = ['headers' => ['User-Agent' => USER_AGENT_TEXT]];

$http = new Client($option);

// URLにアクセスし HTMLを取得
$htmlSource  = $http->get($url)->getStringBody();

// UAがないとエラーになるサイトの場合は、UAを設定する

$option = ['headers' => ['User-Agent' => USER_AGENT_TEXT]];

$http = new Client($option);

// URLにアクセスし HTMLを取得

$htmlSource = $http->get($url)->getStringBody();

　
　
User Agentを指定するには、オプションとして「headers」に指定をします。
簡単な設定で User Agentを指定してアクセスをすることができるようになります。
　
また、HTMLの本体を取得する場合は「->getStringBody()」を記述します。
　
また、定数「USER_AGENT_TEXT」はプログラム内のどこかで指定をしておいてください。
　
　

- CakePHP 3.x 4.x CakePHP3

最後までお読みいただきましてありがとうございます。
この記事が参考になったと思いましたらソーシャルメディアで共有していただけると嬉しいです！

Message コメントをキャンセル

※入力いただいたコメントは管理者の承認後に掲載されます。

: CakePHP3のcontroller内でテンプレート、レイアウトを変更する際の指定方法

CakePHP3でテンプレートファイルやレイアウトファイルをデフォルトのものから別のものに変更したい場合の指定方法を解説。

: CakePHP3のメッセージ日本語化の設定（国際化と地域化の機能の使い方の解説）

CakePHP3の英語のメッセージを日本語化（多言語化）する手順を解説。オリジナルのメッセージを作成する方法やプログラムで文言を追加する場合の対応なども解説。

: CakePHP3でcomposerを利用してライブラリ・プラグインをインストールする方法

CakePHP3でcomposerを使ってパッケージ（ライブラリ、プラグイン）をインストールする方法の解説。PHPを使うのはCakePHP3が初めてというような方への使い方から解説。

: CakePHP3で他のテーブルのマスタテーブルからセレクトボックス（プルダウンリスト）を作る

他のテーブルのマスタのレコードからプルダウンリストを作成し、選択できるようにするサンプルプログラムと解説。ORMの設定によりデータベースの値を取得し、配列を作成し optionsに与える。

: CakePHP3ログファイルへの出力・$this->log()、独自ログへの出力方法の解説

コントロール、モデルの変数の中身を見るときはログに出力する方法が有効です。$this->log()を利用すると変数だけじゃなく、連想配列、オブジェクトも簡単にログ出力ができます。

: CakePHP3で環境変数を設定して本番環境と開発環境を分けて処理をする場合

CakePHP3で開発環境と本番環境とで違う設定ファイルを読み込ませて環境ごとに定数を切り替える方法を解説。Apacheのhttpd.confに環境変数を設定し、それを読み込み判別する。

: CakePHP4のクリエビルダーを使用してOR条件をAND条件でつなぐSQL文を作る方法

CakePHP4のクリエビルダーを使って複数のOR条件をANDでつなぐSQL文を作成する方法を解説。OR条件を記述したwhere句を2つつなげて記述する。

: CakePHP3でassociatedを使って関連データをまとめて保存する方法（hasOne、hasMany、belongsTo）

CakePHP3で関連データをまとめて保存する方法。hasOne、hasMany、belongsTo等の関連データはassociatedを追加することでまとめて保存することができます。

: CakePHP 2.3　ID以外のカラムでアソシエーション（連携）をさせる場合

ID以外のカラムでアソシエーション（連携）させるための考え方とサンプルソースを用いての説明を行っています。

: CakePHP3にWYSIWYGエディタのCKEditor4を設置、カスタマイズ方法を解説

WYSIWYGエディタであるCKEditor4をCDNを利用して簡単にCakePHP3に導入する方法とカスタマイズする方法を解説。CakePHP3にはページごとの振り分けを行うブロック化を利用する。