業務内容
基本セット(19,800円)として以下を提供いたします。
■Docker + Python + poetry + Scrapy によるモダンなクローラの開発/実行環境
・Docker, poetryにより実行環境を選ばない形でクローラを作成
・Scrapyによりメンテナンスしやすく、複数サイトでの並列実行がしやすいプログラムを提供
・お客様環境(Win/Mac/Linux)での動作確認サポート(ビデオチャット可)を含む
■1サイト分のデータ取得Spider作成
・CSVもしくはJSON形式による出力
■動作確認(5営業日分のデータにおいて動作に問題がないことを確認)
・初回保守サポート(納品後)1ヶ月
以下はオプションとさせていただきますので、基本セットと同時、もしくは基本セットでの成果物に
ご満足頂いてから、別途ご注文承ければ幸いです。
■GitHub Actionsを用いた定期実行 (5,000円)
・お客様が実行環境を用意する必要なく、成果物だけ取得できるようにするものです
■CSV/JSON以外の形式(xlsx, google spreadsheetなど)への出力(5,000円〜)
■1サイト追加(10,000円)
・延長保守(2,000円 / 1h)
■他、応相談
ポートフォリオにはスクレイピングを活用した自作のWebサービスがありますので、参考にしていただければ幸いです。
基本料金
実績・評価
1 件
満足
0
残念
出品者
30日前以上
フリーランスWebアプリ開発エンジニア(Python/Java/PHP)、スクレイピングが趣味です
-
1 件 満足0 残念
- 本人確認
- 個人
- 東京都
エンジニア歴14年以上、うちフリーランス9年目、リモートワーク5年目です。
2020/秋にご時世もあり、栃木県佐野市へと地方移住しました。
そんな中、地方ではなかなかお仕事探すのも大変だなあということで、ランサーズを再開しました。
最近個人でクローリング(スクレイピング)を活用したアプリを作成したり、政府系の統計情報や民間系の統計情報をクローラで抜いてデータ解析するなど、スクレイピングを趣味で使っていることが多いです。そんなわけで副業として、スクレイピング関係のお仕事を単発でお受けできればと思っております。
本業はPython、Laravel、AWS、FaaS、CI/CD系が得意なWebのバックエンドエンジニアです。あまりデザイン面とかUI/UXは得意ではないので、そのあたりはあまりお力になれないかと思います。
それ以外にもPython、Laravelあたりのお仕事でしたらご相談に乗れるかもしれませんので、
お問い合わせいただければ幸いです。
(長期のお仕事だと、本業のスケジュールとかで、お受けできないことがあるかもしれません…)
注文時のお願い
■まずはお見積りとなること
対象となるサイトによって大幅に工数が変わる可能性がありますので、まずはお見積りとさせてください。
金額の大小と関係なく、見積もり結果を受けてからのキャンセルはもちろん可能ですので、お互いご納得いただくためのひと手間として、よろしくお願い申し上げます。
■事前情報の連携
見積もりのため、以下の事前情報の連携をお願い申し上げます。
・データ取得対象となるWebサイトのURL
・データ取得項目(CSVの場合、カラム名に相当するもの)
・(ある場合) オプション項目、その他「こんなことはできないか」といったご相談
なお、対応するWebサイトが以下の要件を満たす場合、受注前にあらかじめご相談させていただく場合がございます。「必ずデータ取得先のWebサイトについてのURLをいただけるよう」、お願い申し上げます。
・ログインを伴う
・サイト内の取得データ個数/件数が多い (目安: 10個 / 20,000件) ※サイト構造に依存するので目安です
・対象サイトがクローリングを禁止している(利用規約、robots.txt)
・基本的にはScrapyでの対応が難しい、SPAサイト
・captchaなどを含む
■納品期限
10日間とさせていただいておりますが、スクレイピングはその性質上、データ取得元サイトの更新に合わせて想定外のデータが入って失敗することがあります。
10日間にはそういった問題がないことを確認するための期間を兼ねております。仮の成果物(データ取得結果)については2〜3日以内に納品いたしますので、動作確認が終了するまでの間、成果物(取得データ)に対するお客様側でのデータチェックにご協力をお願い申し上げます。
■初回保守サポート(1ヶ月)
上記の動作確認が完了したあと、1ヶ月間においてサイト更新、想定外のデータ投入といった事象に伴う、プログラム修正を承ります。
ただし、明らかに私の責によらない大規模な修正が必要になった場合(例: データ取得元サイトがサイトリニューアルしてスクレイピングが全部失敗するようになったなど) については、ご容赦ください。
