Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説

2017/02/11 2017/04/29

PythonのBeautiful Soupを利用してスクレイピングを実行

Beautiful Soupとは？

　
「Beautiful Soup」は、スクレイピングに特化した機能を持っている Pythonのライブラリです。
「Beautiful Soup」は、スクレイピングに特化した機能を持っているため、スクレイピングによる情報の取得が簡単な記述で取得できるようになります。
　
　
「Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ」で、Seleniumの記事を書いていますが、Seleniumでブラウザを自動操作しつつ、スクレイピングをしていく処理を構築する上で、BeautifulSoupは強力なツールになってくれます。
Pythonでスクレイピングの処理を構築する場合は、ぜひとも利用したいライブラリですね。
　
　
この記事では、Windows10の環境にセットアップする想定で書いていますので、その点はご了承ください。
　
　

Beautiful Soupをインストール

　
現在の Beautiful Soupの最新バージョンは 4になっていますので、Beautifulsoup4をインストールします。
　
　

Python、pipインストールの確認

　
ですが、BeautifulSoup4を利用するには、Pythonがインストールされている必要があり、Pythonのライブラリをインストールするには、pipというツールが必要です。
　
すでに pipもインストールされていれば問題ないですが、まだインストールをしていない場合は、下記の記事を参考にして、pipのインストールをしてください。
　Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ
　
　

BeautifulSoup4のインストール

　
BeautifulSoup4のインストールは、下記のコマンドで実行します。
　
下記コマンドでインストール（pipにパスが通っていない場合はパス付で実行）
　

c:\python27\Scripts\pip install beautifulsoup4

1	c:\python27\Scripts\pip install beautifulsoup4

C:\> c:\python27\Scripts\pip install beautifulsoup4
Collecting beautifulsoup4
  Downloading beautifulsoup4-4.5.3-py2-none-any.whl (85kB)
    100% |################################| 92kB 430kB/s
Installing collected packages: beautifulsoup4
Successfully installed beautifulsoup4-4.5.3

C:\>

C:\> c:\python27\Scripts\pip install beautifulsoup4

Collecting beautifulsoup4

Downloading beautifulsoup4-4.5.3-py2-none-any.whl (85kB)

100% |################################| 92kB 430kB/s

Installing collected packages: beautifulsoup4

Successfully installed beautifulsoup4-4.5.3

C:\>

　
　
コマンドを実行し、「Successfully installed beautifulsoup4-4.5.3」と出てきたら、BeautifulSoup4のインストールは正常終了したことになります。
　
　
ツールのインストールだけなので、簡単ですね。
　
BeautifulSoup4の使い方に関しては、また別記事でご紹介します！
　
　

スクレイピングに関連する記事

　
スクレイピングを行うに当たって、「Beautiful Soup」だけを使って実行することはないわけですが、私がスクレイピングを行う際に使ったものとして、Selenium WebDriverというブラウザを自動的に操作するツールがあります。
それらに関連する記事をご紹介しておきます。あわせてご覧ください。
　
　Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ
　 PythonでUTF-8など日本語（全角文字）を使う方法。コメントにも必要。
　Pythonをコマンドラインで実行。全角文字（日本語）を引数にする場合の対処方法
　 Selenium WebDriverでFirefoxをプライベートウィンドウ／Chromeをシークレットモードで起動する方法・言語はpython
　Selenium WebDriver、Pythonをインストールし Chromeの自動操作の環境構築手順のまとめ
　 Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説
　 PythonでMySQLへの接続ライブラリMySQL-pythonの簡単インストール方法
　 PythonでURLの有無、存在をチェックするスクリプト

- プログラミング・Web関連技術

最後までお読みいただきましてありがとうございます。
この記事が参考になったと思いましたらソーシャルメディアで共有していただけると嬉しいです！

Message コメントをキャンセル

※入力いただいたコメントは管理者の承認後に掲載されます。

: 借りてはいけないレンタルサーバ実例4社・アルファメール・WEBアリーナ

餅は餅屋。サーバはサーバ屋が提供するサービスを利用するべきという記事で、具体例 4サービスを例にこんなサーバはNGと紹介しています。

: So-netのレンタルサーバHSはヤバイ・借りてはいけないレンタルサーバリスト

餅は餅屋。サーバはサーバ屋が提供するサービスを利用するべきという記事で、単独でSo-netを紹介。OEMでサービスの提供を受けているだけなので何とも残念すぎる内容。

: XSERVERにCakePHP3をインストール。コマンドラインのPHPのバージョンを変更する方法で解決

XSERVERにCakePHP3をインストールするときに問題となるのはサーバーパネルとSSH接続の時とで認識されるPHPのバージョンの違いがあるため。その解消方法を解説する。

: エックスサーバーで独自SSLは永久無料で取り放題。利用方法と理由を解説！

エックスサーバーでは独自SSLが無料でいくつでも設置できるように！しかも、国、都道府県などの数項目の入力と数クリックだけという超簡単！SSL化しない理由がない！

: Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ

ブラウザを自動操作しテストを実行するロボットをselenium WebDriver＋Pythonの環境を構築し、動作確認までの手順のまとめ。初心者向けに詳細解説。サンプルソースも。

: chromedriver.exe – ディスクがありませんと出てSeleniumの設定が上手くいかない

Selenium WebDriverを使ってChromeを自動操作する仕組みを作る際、chromedriver.exeを利用しますが、ディスクがありません、というエラーが発生する場合があります。その対処方法を解説します。

: WordPress、Webサイトの表示高速化！画像を軽くする基本的な考え方

画面表示の高速化には画像のファイル容量を小さくする方法があります。ツールを使わなくても小さくするための基本的な考え方を解説します。

: 本当に？GMO系ロリポップ・ヘテムルを無料で運用する方法があった！

ロリポップ、ヘテムルを株主優待を利用して実質無料で運営しよう!という解説記事です。株主優待で提供されるサービスの内容を解説し、無料になる仕組みを解説します。

: mod_pagespeedでWebサイトを超簡単高速化・Google謹製の最終兵器

Webサイトの表示スピード高速化の最終兵器、Google謹製mod_pagespeedの解説です。レンタルサーバではX-Serverでしか利用できませんが、ワンクリックで高速化します。

: Gitで「fatal: Authentication failed for ‘https://example.com/git_repositories/example.git/’」のエラーが出た場合の対処方法の一つ

Gitのリモートリポジトリにアクセスする際、Authentication failedのエラーが。しかし、ID、PASSが間違っているのではなく、リモートリポジトリのURLが間違っている場合もあるので再度確認を。