20161226 scrapy①

今日から色々と習慣化しようと思っている。
本格的には年明けからなのだけれど、まあ準備運動的に動き始めても良いよねと思い、
今週から。 スクレイピング関連、Python関連ってことでScrapyでもいじってみようと思いました。

https://www.amazon.co.jp/Python%E3%81%AB%E3%82%88%E3%82%8BWeb%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0-Ryan-Mitchell/dp/4873117615

んで、初日から早速だけど、はまってしまった。
Pythonって環境整備難しいですよね…。

VPSを使っているのだけど、インストールされているPythonが2.6だったため
Scrapyのインストールに成功したように見せかけて失敗。
なので、Python2.7にバージョンアップしたところ、Twistedのインストールができず。 python.orgからインストールして、動かそうとしたら
今度はSQLiteがimportできず。
sqlite-develをインストールしてやっと事なきを得る。

とりあえず、例文にあるようなスクリプトだけは動いたので、
これから頑張っていこう。

http://qiita.com/checkpoint/items/038b59b29df8e1e384a2