Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説
2017/04/29
PythonのBeautiful Soupを利用してスクレイピングを実行
Beautiful Soupとは？
「Beautiful Soup」は、スクレイピングに特化した機能を持っている Pythonのライブラリです。
「Beautiful Soup」は、スクレイピングに特化した機能を持っているため、スクレイピングによる情報の取得が簡単な記述で取得できるようになります。
「Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ」で、Seleniumの記事を書いていますが、Seleniumでブラウザを自動操作しつつ、スクレイピングをしていく処理を構築する上で、BeautifulSoupは強力なツールになってくれます。
Pythonでスクレイピングの処理を構築する場合は、ぜひとも利用したいライブラリですね。
この記事では、Windows10の環境にセットアップする想定で書いていますので、その点はご了承ください。
Beautiful Soupをインストール
現在の Beautiful Soupの最新バージョンは 4になっていますので、Beautifulsoup4をインストールします。
Python、pipインストールの確認
ですが、BeautifulSoup4を利用するには、Pythonがインストールされている必要があり、Pythonのライブラリをインストールするには、pipというツールが必要です。
すでに pipもインストールされていれば問題ないですが、まだインストールをしていない場合は、下記の記事を参考にして、pipのインストールをしてください。
Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ
BeautifulSoup4のインストール
BeautifulSoup4のインストールは、下記のコマンドで実行します。
下記コマンドでインストール（pipにパスが通っていない場合はパス付で実行）
|
1 |
c:\python27\Scripts\pip install beautifulsoup4 |
|
1 2 3 4 5 6 7 8 |
C:\> c:\python27\Scripts\pip install beautifulsoup4 Collecting beautifulsoup4 Downloading beautifulsoup4-4.5.3-py2-none-any.whl (85kB) 100% |################################| 92kB 430kB/s Installing collected packages: beautifulsoup4 Successfully installed beautifulsoup4-4.5.3 C:\> |
コマンドを実行し、「Successfully installed beautifulsoup4-4.5.3」と出てきたら、BeautifulSoup4のインストールは正常終了したことになります。
ツールのインストールだけなので、簡単ですね。
BeautifulSoup4の使い方に関しては、また別記事でご紹介します！
スクレイピングに関連する記事
スクレイピングを行うに当たって、「Beautiful Soup」だけを使って実行することはないわけですが、私がスクレイピングを行う際に使ったものとして、Selenium WebDriverというブラウザを自動的に操作するツールがあります。
それらに関連する記事をご紹介しておきます。あわせてご覧ください。
Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ
PythonでUTF-8など日本語（全角文字）を使う方法。コメントにも必要。
Pythonをコマンドラインで実行。全角文字（日本語）を引数にする場合の対処方法
Selenium WebDriverでFirefoxをプライベートウィンドウ／Chromeをシークレットモードで起動する方法・言語はpython
Selenium WebDriver、Pythonをインストールし Chromeの自動操作の環境構築手順のまとめ
Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説
PythonでMySQLへの接続ライブラリMySQL-pythonの簡単インストール方法
PythonでURLの有無、存在をチェックするスクリプト
GoogleAdwords
GoogleAdwords
この記事が参考になったと思いましたらソーシャルメディアで共有していただけると嬉しいです！
関連記事
-
-
Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ
ブラウザを自動操作しテストを実行するロボットをselenium WebDriver＋Pythonの環境を構築し、動作確認までの手順のまとめ。初心者向けに詳細解説。サンプルソースも。
-
-
ブラウザのキャッシュを活用するの対策！広告バナーを消して表示を高速化
あなたのサイトが遅いのはバリューコマースのバナーではないですか？バリューコマースのバナーを外すだけでmod_deflateとmod_expiresを設定するより効果があります！
-
-
CentOS環境に ntpdをインストールして自動的に時刻を取得して合わせる設定にする
VirtualBoxに構築した CentOSの環境の時計がずれているとき、ntpdをインストールし、時計を合わせる方法を解説。NTPサーバを指定する方法や ntpdを自動起動する設定も解説。
-
-
コピーコンテンツ対策.htaccessで直リンク禁止しリダイレクトで対応
不正なコピーコンテンツからの直リンクを拒否する.htaccessの設定方法。拒否するサイトを指定、許可するサイトを指定する方法、単純な拒否と画像の差し替えを解説。
-
-
借りてはいけないレンタルサーバ実例4社・アルファメール・WEBアリーナ
餅は餅屋。サーバはサーバ屋が提供するサービスを利用するべきという記事で、具体例 4サービスを例にこんなサーバはNGと紹介しています。
-
-
ロリポップからX-Serverに引越し。サーバの月額費用が増えても求めた理由は？
ロリポップからX-Serverに引越すその理由とは？SEOの観点からも少しでもサーバレスポンスが早いサーバが求められロリポップでは限界を感じたからです。
-
-
サイト更新、引越時に.htaccessでリダイレクトする方法解説
サイト更新,引越しなどでサイトのURLが変わった場合のリダイレクトを.htaccessのRewriteEngineを使って処理する方法の解説です。
-
-
SyntaxHighlighterを導入してソースコードを見やすくしてみました
PHP、HTMLなどのソースコードをブログで紹介するとき、SyntaxHighlighterを利用することで見やすく提供することが出来ます。
-
-
Gitはフォルダ自体を管理対象にはできない。空のフォルダを設定する手順
Gitはフォルダだけを管理対象にすることはできない。そのため空の.gitkeepファイルを作成し管理対象にすることで、それが入っているフォルダも管理対象にする、と言う手順で管理を行う。
-
-
mod_pagespeedカスタマイズで高速化を詳細解説・Google謹製
mod_pagespeedをデフォルトのまま使っていませんか？mod_pagespeedはデフォルトのままでも速い！でも仕組みを理解し設定し直せばより速くなる！
