(既存システムの修正)クローリング・スクレイピングツールの仕事

見積もり募集の結果

見積もり募集の内容

提示した予算

50,000 円 ~ 100,000 円

依頼概要

■依頼概要
ログインが必要な情報サイトへにて、検索を行い、検索結果および詳細ページをクローリング及びスクレイピングしていただき、csv形式で出力するプログラムの開発です。
取得データには画像も含まれます。
プログラムが多少できるので、ruby＋Mechanizeで少し組んでみたのですが、ページ遷移がうまくいかないため、しっかりとした技術をお持ちの方にお願いしたい次第です。
※ログイン部分と一部遷移に関するソースコードは作成済のものをご提示可能です。

素人目線ではありますが、おそらく、ページ遷移のリンクがJavaScriptが関わっていること・不正なページ遷移の場合にエラーが出ること等が影響して自分のコードでは動かないのではないかと思います。


■実行環境
ローカル（Win10）での実行を想定しており、出力ファイルはエクセルで加工を予定しています。
※サーバーやcronの設定等は不要です。
※ローカル環境構築は基本的には不要ですが、ライブラリの入れ方などで質問させていただくことがあるかもしれません。


■必要な機能
・クローラー及びスクレイピング
・クローリングの際に、待ち時間の設定（1件スクレイピング→１秒待って次のページ遷移といった感じ）
・検索条件変更への対応（都道府県の変更など。ソースコードに変更すれば良い部分をコメントアウトでOK）
・データの出力
・画像保存
※保存フォルダは適当に指定でOK.


■使用言語
RubyまたはPHPを希望します。
Pythonでも可ではありますが、可能であれば上記2つのいずれかがありがたいです。


■重視する点、検討基準
・納期
・クオリティ
・予算


■その他
データ取得サイトは1サイトのみです。
過去のクローラーの開発実績が今回のサイトでしたら即決めします。

（自動メッセージ）選定期限を経過しても当選決定やキャンセルが行われなかったため、自動キャンセルとなりました。