スクレイピングしたところ
2015年3月26日 日常所用でクロールとスクレイピングっていうプログラミングの技術の練習をしてて、"村上さんのところ"からタイトルとそのURLをスクレイピングしてみた
クロールはまだ練習してないけど、とりあえずスクレイピングはNokogiriを使ってURLとかタイトルは拾えるようになった
OS Xにプリインストールされてるrubyと、それからgemインストールでNokogiriを入れて、Sublime textインストールして編集しまくった
ページ数は手入力で数えた。Anemoneの導入すればこのへんは解決っぽい。コメントアウトしまくってる&スペース入って無くて読みづらい&綺麗にしてないのは徹夜でこれやってて疲れきってるから何も配慮してない
サイトはこちら
http://www.welluneednt.com/archive/category/%E8%AA%AD%E8%80%85%E2%86%94%E6%9D%91%E4%B8%8A%E6%98%A5%E6%A8%B9?page=
つか、こんなにたくさん読むのも回答するのも凄いと思ったし、タイトル付けるのも大変だろうと思った
本当はもっとたくさん分量ある(下記だけで10%くらい)けどコピペできる分だけ(このブログの1つの記事の文字制限が2万文字だから)してみた
(URLはともかく、タイトル張るのが著作権的に問題あるのかどうかは謎。いちおうブロッククオートで引用形式にはした)
クロールはまだ練習してないけど、とりあえずスクレイピングはNokogiriを使ってURLとかタイトルは拾えるようになった
OS Xにプリインストールされてるrubyと、それからgemインストールでNokogiriを入れて、Sublime textインストールして編集しまくった
ページ数は手入力で数えた。Anemoneの導入すればこのへんは解決っぽい。コメントアウトしまくってる&スペース入って無くて読みづらい&綺麗にしてないのは徹夜でこれやってて疲れきってるから何も配慮してない
サイトはこちら
http://www.welluneednt.com/archive/category/%E8%AA%AD%E8%80%85%E2%86%94%E6%9D%91%E4%B8%8A%E6%98%A5%E6%A8%B9?page=
つか、こんなにたくさん読むのも回答するのも凄いと思ったし、タイトル付けるのも大変だろうと思った
本当はもっとたくさん分量ある(下記だけで10%くらい)けどコピペできる分だけ(このブログの1つの記事の文字制限が2万文字だから)してみた
(URLはともかく、タイトル張るのが著作権的に問題あるのかどうかは謎。いちおうブロッククオートで引用形式にはした)
編入試験を受けようか悩んでいます http://www.welluneednt.com/entry/2015/01/26/203500
100人の前でしゃべるとき http://www.welluneednt.com/entry/2015/01/26/203400
ヤクルトにいる、あのペンギン? http://www.welluneednt.com/entry/2015/01/26/203300
2014年のベストムービー http://www.welluneednt.com/entry/2015/01/26/203200
映画のパンフレット http://www.welluneednt.com/entry/2015/01/26/203100
40歳の季節 http://www.welluneednt.com/entry/2015/01/26/203000
デス妻 http://www.welluneednt.com/entry/2015/01/26/180600
「一回あり」カード http://www.welluneednt.com/entry/2015/01/26/180500
お気に入りのコーヒーは? http://www.welluneednt.com/entry/2015/01/26/180400
いちばん高い買い物は? http://www.welluneednt.com/entry/2015/01/26/180300
失敗がこわい http://www.welluneednt.com/entry/2015/01/26/180200
無人島にもっていく一冊 http://www.welluneednt.com/entry/2015/01/26/180100
アイドルオタクの夫 http://www.welluneednt.com/entry/2015/01/26/180000
ノルウェイの森みたいな名前です http://www.welluneednt.com/entry/2015/01/26/113500
あるいは http://www.welluneednt.com/entry/2015/01/26/113200
一ヶ月で解雇 http://www.welluneednt.com/entry/2015/01/26/113100
もしスポーツ選手になれるなら http://www.welluneednt.com/entry/2015/01/26/113000
もしやあのときの…… http://www.welluneednt.com/entry/2015/01/26/073400
家人を説得したい http://www.welluneednt.com/entry/2015/01/26/073300
犬が好きなのに http://www.welluneednt.com/entry/2015/01/26/073200
ああ、そういえば http://www.welluneednt.com/entry/2015/01/26/073100
『Inherent Vice』の邦題 http://www.welluneednt.com/entry/2015/01/26/073000
忙しいですか? http://www.welluneednt.com/entry/2015/01/25/201000
成瀬投手浮き輪説 http://www.welluneednt.com/entry/2015/01/25/200400
結婚のモンダイ http://www.welluneednt.com/entry/2015/01/25/200300
屋台の店で http://www.welluneednt.com/entry/2015/01/25/200200
翻訳家か漁師か…… http://www.welluneednt.com/entry/2015/01/25/200100
「オープン2シーター同好会」ふたたび http://www.welluneednt.com/entry/2015/01/25/200000
ガイジンさん http://www.welluneednt.com/entry/2015/01/25/150200
京都で最も好きな場所は? http://www.welluneednt.com/entry/2015/01/25/150100
仕事に嫌気がさすことは? http://www.welluneednt.com/entry/2015/01/25/150000
『1Q84』の続編は!? http://www.welluneednt.com/entry/2015/01/24/211316
やめられない不倫の味 http://www.welluneednt.com/entry/2015/01/24/210300
ふたりきりの食事の意味 http://www.welluneednt.com/entry/2015/01/24/210200
羞恥心の度合いがズレているかも http://www.welluneednt.com/entry/2015/01/24/210100
夫が好きでたまらない http://www.welluneednt.com/entry/2015/01/24/210000
嫌いな人はいますか? http://www.welluneednt.com/entry/2015/01/24/173400
低空飛行 http://www.welluneednt.com/entry/2015/01/24/173300
チャンドラー的なパンチ http://www.welluneednt.com/entry/2015/01/24/173200
中国でも大人気 http://www.welluneednt.com/entry/2015/01/24/173100
筆をおくとき http://www.welluneednt.com/entry/2015/01/24/113800
早稲田で学んだこと http://www.welluneednt.com/entry/2015/01/24/113300
神宮球場でのおつまみは? http://www.welluneednt.com/entry/2015/01/24/113200
村上さんのところ/村上春樹 期間限定公式サイト http://www.welluneednt.com/
中古レコード店はサンクチュアリ http://www.welluneednt.com/entry/2015/01/24/113100
天職はどこにある? http://www.welluneednt.com/entry/2015/01/24/113000
ふかえりちゃんのような存在 http://www.welluneednt.com/entry/2015/01/24/080400
「女のいる男たち」になるためには? http://www.welluneednt.com/entry/2015/01/24/080300
質問以前にやるべきこと http://www.welluneednt.com/entry/2015/01/24/080200
フィンランドはいかがでしたか http://www.welluneednt.com/entry/2015/01/24/080100
ムラカミ解説本をどう思う? http://www.welluneednt.com/entry/2015/01/24/080000
スペッツエス島で http://www.welluneednt.com/entry/2015/01/23/210500
悶々とする私 http://www.welluneednt.com/entry/2015/01/23/210400
こんな人に飼われたいな http://www.welluneednt.com/entry/2015/01/23/210300
セクシーランジェリーの正しい活用法 http://www.welluneednt.com/entry/2015/01/23/210200
道ならぬ恋 http://www.welluneednt.com/entry/2015/01/23/210100
なぜ人を殺してはいけないのか http://www.welluneednt.com/entry/2015/01/23/210000
入籍日を決めていただきたい http://www.welluneednt.com/entry/2015/01/23/173500
学校に行きたがらない娘 http://www.welluneednt.com/entry/2015/01/23/173400
是非、ボールにサインを! http://www.welluneednt.com/entry/2015/01/23/173300
いつも片思いばかりで http://www.welluneednt.com/entry/2015/01/23/173200
息苦しい世の中を生きる術 http://www.welluneednt.com/entry/2015/01/23/173100
まったり、ゆるゆる http://www.welluneednt.com/entry/2015/01/23/173000
つかぬことを伺いますが http://www.welluneednt.com/entry/2015/01/23/113800
せっかくの勇気が http://www.welluneednt.com/entry/2015/01/23/113600
スワローズを救え! http://www.welluneednt.com/entry/2015/01/23/113500
コイバナに困っています http://www.welluneednt.com/entry/2015/01/23/113400
会話が苦痛で http://www.welluneednt.com/entry/2015/01/23/113300
ハグして下さい http://www.welluneednt.com/entry/2015/01/23/113200
ひろやすくんの現状 http://www.welluneednt.com/entry/2015/01/23/113100
がんばれ受験生 http://www.welluneednt.com/entry/2015/01/23/113000
オススメの海外旅行先 http://www.welluneednt.com/entry/2015/01/23/073600
小川スワローズと真中スワローズ http://www.welluneednt.com/entry/2015/01/23/073500
村上さんのサイン本 http://www.welluneednt.com/entry/2015/01/23/073400
お客が来ない http://www.welluneednt.com/entry/2015/01/23/073300
コードネームください! http://www.welluneednt.com/entry/2015/01/23/073200
他の文学者に嫉妬しますか? http://www.welluneednt.com/entry/2015/01/23/073100
お店をやっていたときの哲学 http://www.welluneednt.com/entry/2015/01/23/073000
神宮球場の建て替え計画 http://www.welluneednt.com/entry/2015/01/22/210700
あの時勉強しておけば http://www.welluneednt.com/entry/2015/01/22/210600
人生が楽すぎる http://www.welluneednt.com/entry/2015/01/22/210500
女性の登場人物のモデルは? http://www.welluneednt.com/entry/2015/01/22/210400
文学賞に応募しましたが…… http://www.welluneednt.com/entry/2015/01/22/210300
ありのままの http://www.welluneednt.com/entry/2015/01/22/210200
なんにもしてないのに http://www.welluneednt.com/entry/2015/01/22/210100
ナンカイな質問 http://www.welluneednt.com/entry/2015/01/22/210000
あぁ、ハルキスト http://www.welluneednt.com/entry/2015/01/22/173700
かたわれ http://www.welluneednt.com/entry/2015/01/22/173600
サクラサク http://www.welluneednt.com/entry/2015/01/22/173500
国産車と欧州車 http://www.welluneednt.com/entry/2015/01/22/173400
カープ女子について http://www.welluneednt.com/entry/2015/01/22/173300
物語は向こうからやってくる http://www.welluneednt.com/entry/2015/01/22/173200
微妙な問題 http://www.welluneednt.com/entry/2015/01/22/173100
旋律は底をついたのか http://www.welluneednt.com/entry/2015/01/22/173000
村上さんのところ/村上春樹 期間限定公式サイト http://www.welluneednt.com/
トレビアン! http://www.welluneednt.com/entry/2015/01/22/113700
好きな日本の小説は…… http://www.welluneednt.com/entry/2015/01/22/113600
作家にとって「経験」とは http://www.welluneednt.com/entry/2015/01/22/113500
「村上春樹」の知識はあっても…… http://www.welluneednt.com/entry/2015/01/22/113400
エッセイのご予定は? http://www.welluneednt.com/entry/2015/01/22/113300
学校教育についてご意見を http://www.welluneednt.com/entry/2015/01/22/113200
自宅が全焼しました http://www.welluneednt.com/entry/2015/01/22/113100
宮沢りえさんの誘惑 http://www.welluneednt.com/entry/2015/01/22/113000
アユミとタマキ http://www.welluneednt.com/entry/2015/01/22/073600
稀少本は集めていますか? http://www.welluneednt.com/entry/2015/01/22/073500
好きな人とLINEが続かない http://www.welluneednt.com/entry/2015/01/22/073400
ワクワクする「老化」って http://www.welluneednt.com/entry/2015/01/22/073300
ドーナツを探しています http://www.welluneednt.com/entry/2015/01/22/073200
わたしのこと好きかしら? http://www.welluneednt.com/entry/2015/01/22/073100
料理はしますか? http://www.welluneednt.com/entry/2015/01/22/073000
最近、何読みましたか? http://www.welluneednt.com/entry/2015/01/21/210700
何を話せば…… http://www.welluneednt.com/entry/2015/01/21/210600
求む!「村上さんの熱烈なファン」の愛称 http://www.welluneednt.com/entry/2015/01/21/210500
公用語は関西弁 http://www.welluneednt.com/entry/2015/01/21/210400
大谷選手の二刀流 http://www.welluneednt.com/entry/2015/01/21/210300
世界一周をすると価値観が変わる? http://www.welluneednt.com/entry/2015/01/21/210200
作品に込められた意図 http://www.welluneednt.com/entry/2015/01/21/210100
布団が恋しい季節 http://www.welluneednt.com/entry/2015/01/21/210000
自分の名前は好きですか? http://www.welluneednt.com/entry/2015/01/21/205900
仕事より走ること http://www.welluneednt.com/entry/2015/01/21/173600
老化で走れません http://www.welluneednt.com/entry/2015/01/21/173400
幸せと思いながら死にたいのです http://www.welluneednt.com/entry/2015/01/21/173200
甥っ子と仲良くさせたい http://www.welluneednt.com/entry/2015/01/21/173100
童顔の生きる道は? http://www.welluneednt.com/entry/2015/01/21/173000
この世界にたったひとり http://www.welluneednt.com/entry/2015/01/21/113800
やっぱり1000冊? http://www.welluneednt.com/entry/2015/01/21/113700
「ほりほり」の謎 http://www.welluneednt.com/entry/2015/01/21/113500
同性婚は賛成? 反対? http://www.welluneednt.com/entry/2015/01/21/113400
定年したら4度目に挑戦 http://www.welluneednt.com/entry/2015/01/21/113300
遊んでますかー? http://www.welluneednt.com/entry/2015/01/21/113200
濃密すぎて診断不能 http://www.welluneednt.com/entry/2015/01/21/113100
わたしの理解は間違っていませんか http://www.welluneednt.com/entry/2015/01/21/113000
手短に質問します http://www.welluneednt.com/entry/2015/01/21/073600
なぜ牛河を読みたいんだろう http://www.welluneednt.com/entry/2015/01/21/073500
罪悪感の行き場がなくて…… http://www.welluneednt.com/entry/2015/01/21/073400
挫折した名作はありますか? http://www.welluneednt.com/entry/2015/01/21/073300_1
ウイスキーがお好きでしたよね http://www.welluneednt.com/entry/2015/01/21/073300
ファンミーティングを切望します http://www.welluneednt.com/entry/2015/01/21/073200
強くてかっこよくなるためには http://www.welluneednt.com/entry/2015/01/21/073100
悩める19歳にエールをください http://www.welluneednt.com/entry/2015/01/21/073000
こんな私にキレませんか? http://www.welluneednt.com/entry/2015/01/20/210600
ちょっと手洗いに…… http://www.welluneednt.com/entry/2015/01/20/210500
最後っ屁をかまされた男 http://www.welluneednt.com/entry/2015/01/20/210400
そのパソコン、お名前ついてますか? http://www.welluneednt.com/entry/2015/01/20/210300
ジョンスコ最高! http://www.welluneednt.com/entry/2015/01/20/210200
村上さんのところ/村上春樹 期間限定公式サイト http://www.welluneednt.com/
いったい何が来るというのか? http://www.welluneednt.com/entry/2015/01/20/210100
ノマドワーカーですよねー http://www.welluneednt.com/entry/2015/01/20/210000
スマホを使うところが想像できません http://www.welluneednt.com/entry/2015/01/20/173600
ズバリ聞きますが http://www.welluneednt.com/entry/2015/01/20/173500
今後、どんな作品を翻訳していきますか? http://www.welluneednt.com/entry/2015/01/20/173400
はやく大人になって読みたいです http://www.welluneednt.com/entry/2015/01/20/173300
冬でも走りつづけるコツ http://www.welluneednt.com/entry/2015/01/20/173200
雌雄を決するとき http://www.welluneednt.com/entry/2015/01/20/173100
Okada-san in New York http://www.welluneednt.com/entry/2015/01/20/173000
「作家さん」に身体が慣れません http://www.welluneednt.com/entry/2015/01/20/113600
あの情熱はどこへ消えた? http://www.welluneednt.com/entry/2015/01/20/113500
新たな家訓を求めています http://www.welluneednt.com/entry/2015/01/20/113400
「木野」という衝撃 http://www.welluneednt.com/entry/2015/01/20/113300
感傷的な便所掃除 http://www.welluneednt.com/entry/2015/01/20/113200
もう小説を書かないのでは? http://www.welluneednt.com/entry/2015/01/20/113100
血のつながりについて http://www.welluneednt.com/entry/2015/01/20/113000
やっぱりハルキにしました http://www.welluneednt.com/entry/2015/01/20/073600
英語で読むのが楽しくて http://www.welluneednt.com/entry/2015/01/20/073500
天国はどんなところ? http://www.welluneednt.com/entry/2015/01/20/073400
デキシーに首ったけ http://www.welluneednt.com/entry/2015/01/20/073300
ダッフルコートの季節といえば http://www.welluneednt.com/entry/2015/01/20/073200
空き巣のキモチ http://www.welluneednt.com/entry/2015/01/20/073100
そこをなんとか教えてください http://www.welluneednt.com/entry/2015/01/20/073000
若手のロックバンドはどうでしょう? http://www.welluneednt.com/entry/2015/01/19/210700
だいたいわかるんですが…… http://www.welluneednt.com/entry/2015/01/19/210600
入りたくなるラブホテル http://www.welluneednt.com/entry/2015/01/19/210500
これからの時代の読書 http://www.welluneednt.com/entry/2015/01/19/210400
読まざる者、書くべからず? http://www.welluneednt.com/entry/2015/01/19/210300
春樹ではない春樹な名前 http://www.welluneednt.com/entry/2015/01/19/210200
できることできないこと http://www.welluneednt.com/entry/2015/01/19/210000
五十嵐くんの活躍 http://www.welluneednt.com/entry/2015/01/19/181000
My cat Bobo http://www.welluneednt.com/entry/2015/01/18/181000
アナログ番長に訊く http://www.welluneednt.com/entry/2015/01/19/180600
英語ができる高校生になるには? http://www.welluneednt.com/entry/2015/01/19/180300
雨が好きな理由 http://www.welluneednt.com/entry/2015/01/19/180200
このままでは恋愛できないかも http://www.welluneednt.com/entry/2015/01/19/180100
恋がわからなくなってしまいました http://www.welluneednt.com/entry/2015/01/19/180000
キャベツを究めるには? http://www.welluneednt.com/entry/2015/01/19/175900
人生が猫ならば http://www.welluneednt.com/entry/2015/01/19/120150
飼っていた猫が…… http://www.welluneednt.com/entry/2015/01/19/120112
アイスランド愛 http://www.welluneednt.com/entry/2015/01/19/120032
マッカンドレスの生き方 http://www.welluneednt.com/entry/2015/01/19/080000_1
何しても違うんです http://www.welluneednt.com/entry/2015/01/19/080000
レッチリ談義 http://www.welluneednt.com/entry/2015/01/19/075900
人類のラスト・クエスチョン http://www.welluneednt.com/entry/2015/01/19/073000
奇跡のように感じるんです http://www.welluneednt.com/entry/2015/01/18/210500
妻のゲップをやめさせるには http://www.welluneednt.com/entry/2015/01/18/210400
反応がうすいのが残念で…… http://www.welluneednt.com/entry/2015/01/18/210300
Where are you always? http://www.welluneednt.com/entry/2015/01/18/210200
若いときにできなかったこと http://www.welluneednt.com/entry/2015/01/18/210100
村上さんのところ/村上春樹 期間限定公式サイト http://www.welluneednt.com/
夜の営み http://www.welluneednt.com/entry/2015/01/18/210000
人生を変えてしまうもの http://www.welluneednt.com/entry/2015/01/18/180500
本当に待っていました! http://www.welluneednt.com/entry/2015/01/18/180400
その「期待」がつらいんです http://www.welluneednt.com/entry/2015/01/18/180300
イカツイ男に囲まれて http://www.welluneednt.com/entry/2015/01/18/180200
悪女の法則 http://www.welluneednt.com/entry/2015/01/18/180100
釈然としない就職活動 http://www.welluneednt.com/entry/2015/01/18/180000
買い物にとりつかれたら http://www.welluneednt.com/entry/2015/01/18/113100
10年前の自分に追いつけません! http://www.welluneednt.com/entry/2015/01/18/113000
今でも行ってますか? http://www.welluneednt.com/entry/2015/01/18/112900
最近、自転車レースは? http://www.welluneednt.com/entry/2015/01/18/073000_1
30歳を目前にした私 http://www.welluneednt.com/entry/2015/01/18/073000
熊本に住んでいます http://www.welluneednt.com/entry/2015/01/18/073000_2
1995年に生まれて http://www.welluneednt.com/entry/2015/01/17/084608
朗読を聞きたいのです http://www.welluneednt.com/entry/2015/01/17/083502
マルタ島に行ったことは? http://www.welluneednt.com/entry/2015/01/16/233029
文章を書くのが苦手です http://www.welluneednt.com/entry/2015/01/16/232935
お勧めの翻訳小説は? http://www.welluneednt.com/entry/2015/01/16/230234
一日をどのようにお過ごしですか? http://www.welluneednt.com/entry/2015/01/16/230210
競馬じゃあるまいし http://www.welluneednt.com/entry/2015/01/16/183055
自分の小説を再読しますか? http://www.welluneednt.com/entry/2015/01/16/183026
だめなのでしょうか? http://www.welluneednt.com/entry/2015/01/16/182957
羊男の干支はひつじ年? http://www.welluneednt.com/entry/2015/01/16/182842
ノンフィクションを書く予定は? http://www.welluneednt.com/entry/2015/01/16/105547
友情というのは…… http://www.welluneednt.com/entry/2015/01/16/105523
特別招待券希望 http://www.welluneednt.com/entry/2015/01/16/105503
狙うは一番乗り http://www.welluneednt.com/entry/2015/01/16/105426
ヘイト・スピーチについて http://www.welluneednt.com/entry/2015/01/16/105403
今ならもっとうまく書けたのに…… http://www.welluneednt.com/entry/2015/01/16/105331
こんな古本屋がありますが http://www.welluneednt.com/entry/2015/01/16/105316
誕生日の夕食は? http://www.welluneednt.com/entry/2015/01/16/105257
息子を村上さんのように育てたい http://www.welluneednt.com/entry/2015/01/16/105231
村上先生、教えてください! http://www.welluneednt.com/entry/2015/01/16/105214
コメント