PythonによるWebスクレイピング（継続あり・自走型者優先・複数フリーランス活動中）の仕事 [卸売・小売]

見積もり募集の結果

見積もり募集の内容

依頼主の業種

卸売・小売

依頼の目的・背景

御覧いただきありがとうございます。
弊社はスポーツをはじめ、様々なジャンルの商品を販売する、ネット通販を主とした会社となります。
この度は仕入れ先問屋さんの各ウェブサイトのスクレイピングをしていただける方を募集させていただきます。
※本案件の業務開始は10月を予定しております。

条件としては以下の内容となります。
1.
時間単価の準委任契約
希望時間単価を出していただいてご応募ください。(最初は30時間分のお見積りをご提出いただけますようお願いいたします。)
2,
スクリーンショットモニターという作業時間確認ソフトをパソコンに入れていただき時間の計測をしていただきます。
3.
連絡は原則Chatworkとなります。

指定問屋サイトにログインして定価、仕入れ価格、JANコード、商品名、発注単位（特定の商品を発注するのは複数個の発注が必要か)、在庫数、在庫有商品か予約商品なのか、などの情報をスクレイピングしてエクセルかCSVで出力されるようにしていただきます。
毎月複数問屋が増えていきますので、納期やコミュニケーションに問題が無ければ
長期間継続してご依頼させて頂ければと考えております。
常に目標とスピード感を持ち、まずは自身で問題解決に努められる方が望ましいです。
既に作業を行っている方もいますので、チーム内での相談等もしやすい環境となっております。

サイトによって取得商品数が数百行～数万行と幅があります。ボリュームゾーンとしては数千行程度になります。
商品一覧でデータを取得出来る場合と各商品ページに入って情報を抜く必要がある場合、在庫数表示がない場合は商品をカートに入れて在庫数を確認しないといけない場合等各問屋によって必要な作業が異なります。
1日1回回るようにしていただきます。

■スクレイピングの実行環境について■
・Python 3.9
・ライブラリは主に Selenium (Version 3.141.0)
・ブラウザ　作成・テスト環境はGoogle Chrome、サーバー上はPhantomJSで実行中です。
・requirements.txtの添付
・可能な限り3時間以内（プログラム実行時間）で処理が終わるように。並行処理などでサーバー負荷増が考えられる場合は相談ください。
・状況に応じてデータベース（SQLite, MySQLなど）使います。
・適所に logging.info() を実行し、実行後にログファイルの出力もお願いします。例えば、個別商品URLやエラー発生時のlog収集として。
・要素表示、要素クリックまでの待機は、 基本的にtime.sleep(2)ではなく、WebDriverWait()でお願いします。（Seleniumの場合）
・HTML要素の指定は、なるべく XPath ではなく、 ID や Name, Class などサイト改修時も適応しやすいよう配慮お願いします。
・作成したプログラムは、当方に提出頂きます。
・当方にてサーバー環境で実行し、問題なく出力されているか確認します。

・複数P Cもしくは複数モニター、ビッグモニターあり、作業効率がいい方を優先します。
・スクレイピング対象サイトにもよりますが、5,000商品ほどの問屋さんであれば2日でプログラム作成、１日で修正、完了が目安になります。
・作業開始前にサンプル・プログラムお知らせします。
・長い方で 1年ほどお付き合い頂いています。

是非ご検討よろしくお願いいたします。

サイトの種類

ECサイト

作業範囲

ランサーに相談して決めたい

用意してあるもの

• サーバー
• ドメイン

参考URL

設定なし

希望開発言語

ランサーに相談して決めたい

フレームワーク

ランサーに相談して決めたい

開発の継続性

ランサーに相談して決めたい

補足説明

この開発の後も、継続的に依頼したいと思っております。

探している人材が見つからなかったため