ウェブサイトスクレイピング
業務内容
お顧客様の与えられたウェブサイトからそして選択されたカテゴリから最大10,000のデータを取得します。
私達はあらゆる公共のウェブサイトをスクラップ/クロールすることができます。
①ウェブサイトを分析します
②どのくらいの量のデータがあるかを見積もります
③サンプルデータをお送りします
④あなたは支払いをする
⑤希望のカテゴリをクロールします
⑥選択した形式でデータを送信する
ex CSV, TSV, xlsx
スクレイピングしてネット上から情報収集します。2階層まで・
業務内容
指定していただいたURLからデータを収集します。
2階層は、指定して頂いたURLのページ内、またはURLのパラメータが規則的に1つだけ異なるページから、リンクを一つ辿った先まで対象となります。
ただし同一ドメイン内でリンク先のページ構成が変わらないことが条件となります。
CSV,TSV,xlsxのリストで納品します.
。例)iタウンページの新宿区グルメカテゴリ一覧から企業名、住所、電話番号を、詳細ページからHPのURLと営業時間を取得
https://itp.ne.jp/tokyo/13104/genre_dir/gourmet/pg/n/?sr=1&ngr=1&num=20
・nページがある限り取得します
・企業の詳細ページを辿り、HPのURL、営業時間を取得します
対応できないこと(質問はメッセージで問い合わせください)
・情報閲覧にログインが必要なサイト
・欲しい項目が固定位置でないもの
・著作権法に引っかかる項目の取得
・画像
・サイトが独自に付けたカテゴリ
・サイトが構築した文章
・欲しい項目の出力が動的なもの(javascript・flashを使用して表示する項目など)
・PDFなどHTMLではないサイト
※サイト、項目が対応可能か判断するため、先にお問い合わせください。