みなさんこんにちは。

前回の投稿からかなりの時間が空いてしまいました。というのも、Pythonでやりたいことが見つからず迷走しており・・・そんな私にぴったりの良書を見つけました。

退屈なことはPythonにやらせよう――ノンプログラマーにもできる自動化処理プログラミング

しかしこなすだけでは意味がないため購入は踏み止まり、なんとかやりたいことを絞り出しました。

”Webスクレイピング”ってやつです。ご存知の方も多いはず。要はネット上から情報を取得して解析する。むむむ…難しそうだ。接続先のサーバに負荷をかけないよう注意も必要とのこと。怖い怖い。

岡崎市立中央図書館事件（ウィキペディア）

さてやりたいことは・・・

Yahoo！ニュースからニュースの各記事のタイトルを取得する。

以下のサイトを参考にさせていただきました。

いつも隣にITのお仕事

 

20 tweets

9 shares

18 users

57 pockets

Pythonでスクレイピングをする最初の一歩、Webページを丸ごと取得する方法

https://tonari-it.com/python-requests-get-response/

Windowsを使う初心者向けにPythonの情報を提供しています。今回は、Pythonでスクレイピングをする最初の一歩、requestsモジュールのget関数でWebページを丸ごと取得する方法です。

Qiita

 

1 tweet

11 shares

141 users

318 pockets

PythonとBeautiful Soupでスクレイピング - Qiita

https://qiita.com/itkr/items/513318a9b5b92bd56185

Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここ...

requestsとBeautifulSoup4が必要なのでPythonにあらかじめインストールしておきます。

requestsでgetしたHTMLのソースを、BeautifulSoupでパース（HTMLの意味や構造を解釈）します。print(soup)して確認すると中身がダダっと表示されるはずです。

ソースの中身をみると、各記事のタイトルは<h1>タグ＆”ttl”クラス、<p>タグ＆”ttl”クラスの中に入っているようでした。そこでsoupからfind_allで全て取り出します。

そうするとこんな感じで出力されました。

ちなみに8、11行目のprintのところをtextだけにすると…

いい感じで出力されました。

「写真」と「new」の文言が不要なので次回の投稿で削除したいと思います。今日はこのへんで。