PythonでURLの有無、存在をチェックするスクリプト

2017/02/18 2017/04/29

Pythonで URLの有無を確認するスクリプト

Pythonの urllib2で URLの有無をチェック

　
入力された URLが正しいか、否かをチェックする処理を考えていたのですが、日本語ドメインのことまで考慮すると、果たしてチェックができるのだろうか？と考えるに至りました。
　
ですが、pythonには「urllib2」という便利なライブラリがありまして、入力された URLにアクセスしてみることで、入力された URLが存在するか、しないかをチェックすることができることが分かりました。
　
というわけで、入力された URLが存在するか、しないかをチェックする処理を解説します。
　
　

退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング

URLが存在しているか、否かを確認するスクリプト

　
サンプルのスクリプトは以下の通りとなります。
　

# -*- coding: utf-8 -*- 

# 文字列検索・置換モジュールの import
import re

# URLを取得するモジュールの import
import urllib2


# URLチェック関数
def checkURL(url):

    if re.match(r"^https?:\/\/", url):
        try:
            response = urllib2.urlopen(url)
            response.close()
            return "OK"
        except urllib2.HTTPError as e:
            print "NotFound:  " + url
            return "NG  Error Code: ", e.code
        except urllib2.URLError as e:
            print "NotFound:  " + url
            return "NG  Reason: ", e.reason
    else:
        return u"URLは http://、https:// から記述してください。"


input_url = "http://yahoo.co.jp"
check_result = checkURL(input_url)

if check_result == "OK":
    print u"アクセスOK"
else:
    print check_result

# -*- coding: utf-8 -*-

# 文字列検索・置換モジュールの import

import re

# URLを取得するモジュールの import

import urllib2

# URLチェック関数

def checkURL(url):

if re.match(r"^https?:\/\/", url):

try:

response = urllib2.urlopen(url)

response.close()

return "OK"

except urllib2.HTTPError as e:

print "NotFound: " + url

return "NG Error Code: ", e.code

except urllib2.URLError as e:

print "NotFound: " + url

return "NG Reason: ", e.reason

else:

return u"URLは http://、https:// から記述してください。"

input_url = "http://yahoo.co.jp"

check_result = checkURL(input_url)

if check_result == "OK":

print u"アクセスOK"

else:

print check_result

URLが存在しているか、否かを確認するスクリプトの解説

　
解説というほど解説する内容はありませんが、入力された URLを「input_url」に入れて、URLのチェック関数を通しています。
　
URLは、まず最初に、「http://」「https://」のいずれかで始まっているかをチェックしています。
「http://」「https://」がないと、次の行の「urllib2.urlopen(url)」でエラーが出るためです。
　
続いて、「urllib2.urlopen(url)」で入力された URLにアクセスをしてサイトの情報を取得します。
サイトの情報が取得できれば、入力された URLは有効な URLとして判断します。
　
この時、エラーが返ってきた場合は、例外処理としてそのエラーを補足して、エラー処理を行います。
　
エラーの補足の順番は、「urllib2.HTTPError」「urllib2.URLError」である必要があります。
　
　
詳しくは、下記のページに解説がありますので参考にしてください。
http://docs.python.jp/2/howto/urllib2.html
　
　

SSL認証エラー「urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)」の対処方法

　
ブラウザでは表示される URLでも、Pythonで実行すると「urllib2.URLError」の例外処理で、「urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)」のエラーが発生する場合があります。
　
これは、Python 2.7.9以降では SSL証明書が正しくない場合に SSL認証エラーを出すように仕様が変更になったためです。
　
　
対処方法は、下記の 2行をプログラムに追記すれば OKです。
「import urllib2」を編集している次の行あたりに追記するといいでしょう。
　

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

1 2	import ssl ssl._create_default_https_context = ssl._create_unverified_context

　
　
解説は、英語のページですが下記にありますので、あわせて参考にしてください。
https://www.python.org/dev/peps/pep-0476/
　
　

selenium＋Pythonで処理の自動化に関する記事

Selenium WebDriver、Pythonをインストールしブラウザ自動操作の環境構築手順のまとめ
 PythonでUTF-8など日本語（全角文字）を使う方法。コメントにも必要。
Pythonをコマンドラインで実行。全角文字（日本語）を引数にする場合の対処方法
 Selenium WebDriverでFirefoxをプライベートウィンドウ／Chromeをシークレットモードで起動する方法・言語はpython
Selenium WebDriver、Pythonをインストールし Chromeの自動操作の環境構築手順のまとめ
 Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説
 PythonでMySQLへの接続ライブラリMySQL-pythonの簡単インストール方法
 PythonでURLの有無、存在をチェックするスクリプト

- プログラミング・Web関連技術

最後までお読みいただきましてありがとうございます。
この記事が参考になったと思いましたらソーシャルメディアで共有していただけると嬉しいです！

Message コメントをキャンセル

※入力いただいたコメントは管理者の承認後に掲載されます。

: さくらサーバのmb_send_mailでメール送信時にmalformed header from script ‘xxx.php’: Bad header: xxxのエラーが

さくらインターネットのレンタルサーバからPHPのmb_send_mail()関数を利用してメールを送信するとInternal Server Errorが発生。その原因は、メールアドレスが登録されていないこと。

: 日本語は2バイト文字？3バイト文字？

日本語は2バイトという理解でしたが、UTF-8では事情が違います。その説明です。

: ロリポップからX-Serverに引越し。サーバの月額費用が増えても求めた理由は？

ロリポップからX-Serverに引越すその理由とは？SEOの観点からも少しでもサーバレスポンスが早いサーバが求められロリポップでは限界を感じたからです。

: SyntaxHighlighterを導入してソースコードを見やすくしてみました

PHP、HTMLなどのソースコードをブログで紹介するとき、SyntaxHighlighterを利用することで見やすく提供することが出来ます。

: WordPress、Webサイトの表示高速化！画像を軽くする基本的な考え方

画面表示の高速化には画像のファイル容量を小さくする方法があります。ツールを使わなくても小さくするための基本的な考え方を解説します。

: mod_pagespeedカスタマイズで高速化を詳細解説・Google謹製

mod_pagespeedをデフォルトのまま使っていませんか？mod_pagespeedはデフォルトのままでも速い！でも仕組みを理解し設定し直せばより速くなる！

: XSERVERにCakePHP3をインストール。コマンドラインのPHPのバージョンを変更する方法で解決

XSERVERにCakePHP3をインストールするときに問題となるのはサーバーパネルとSSH接続の時とで認識されるPHPのバージョンの違いがあるため。その解消方法を解説する。

: コピーコンテンツ対策.htaccessで直リンク禁止しリダイレクトで対応

不正なコピーコンテンツからの直リンクを拒否する.htaccessの設定方法。拒否するサイトを指定、許可するサイトを指定する方法、単純な拒否と画像の差し替えを解説。

: FTPでダウンロード時にファイルが重複するため上書きしますか？と表示される問題

FTPでファイルをダウンロードする際に「ファイルが重複しています。上書きしますか？」というメッセージが出る場合がありますが、これの原因と対策、解決策の記事です。

: Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説

BeautifulSoupはPythonでスクレイピングを行う際に便利なツール。インストール方法も簡単。ただ、事前にpipのインストールが必要でその解説もしてます。

PREV: PythonでMySQLへの接続ライブラリMySQL-pythonの簡単インストール方法
NEXT: CakePHP3のアソシエーション機能を使い関連レコードをまとめて削除

日	月	火	水	木	金	土
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30

PythonでURLの有無、存在をチェックするスクリプト

Pythonで URLの有無を確認するスクリプト

Pythonの urllib2で URLの有無をチェック

URLが存在しているか、否かを確認するスクリプト

URLが存在しているか、否かを確認するスクリプトの解説

SSL認証エラー「urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)」の対処方法

selenium＋Pythonで処理の自動化に関する記事

GoogleAdwords

GoogleAdwords

Message コメントをキャンセル

関連記事

さくらサーバのmb_send_mailでメール送信時にmalformed header from script ‘xxx.php’: Bad header: xxxのエラーが

日本語は2バイト文字？3バイト文字？

ロリポップからX-Serverに引越し。サーバの月額費用が増えても求めた理由は？

SyntaxHighlighterを導入してソースコードを見やすくしてみました

WordPress、Webサイトの表示高速化！画像を軽くする基本的な考え方

mod_pagespeedカスタマイズで高速化を詳細解説・Google謹製

XSERVERにCakePHP3をインストール。コマンドラインのPHPのバージョンを変更する方法で解決

コピーコンテンツ対策.htaccessで直リンク禁止しリダイレクトで対応

FTPでダウンロード時にファイルが重複するため上書きしますか？と表示される問題

Beautiful Soupを利用してPythonでスクレイピングを行う環境構築方法の解説

WordPress投稿にPHPを記述するショートコードの使い方add_shortcode

コピーコンテンツ対策.htaccessで直リンク禁止しリダイレクトで対応

評価点投票プラグイン10個を比較！WordPressで口コミサイトを構築

BackWPupでバックアップ・リストア（復元）の具体的手順

コンパクトキーボード・KEK-EA9AU・FKB1420の魅力