昨日の続き。
昨日のコードを書くと以下の現象が起こります。
・リクエストがrewriteされる
http://google.com/docs → http://localhost/docs
のようにドメインがすべてlocalhostになる。
・「BASE_DIRで指定したパス+/htdocs」がhttp://localhost/に対応付けられる。
昨日のテストコードではhttp://localhost/test.htmlにリクエストを出すとWebrickが
C:/Users/username/Documents/RailsPjt/spec/htdocs/test.html
を読み込み、レスポンスとして返す。
スクレイピングするサイトが少ない場合はhtdocsフォルダにテストデータを全部おいて単体テストをするのがお手軽で良いと思います。