※ この募集は締め切られました。
【PHP/Python/GO】スクレイピング・クローラーに精通している方に仕様書のサポートをしていただきたい
【概要】
仕様書作成のサポートをしていただきたいです。
私が作成し、それについて現場経験豊富な方にアドバイスをいただきたいです。
また、技術的な可否及びスクレイピングする際の非機能要件についてお伺いしたく思います。
私の立場はコンサルです。
主に受託事業を行なっており、自社でサービス開発等を行なっております。
今回は、受託事業のメディア運用の効率化を図るための「Googleから特定のキーワードの検索順位を取得するウェブアプリ」の開発の仕様書の作成のサポートのご依頼になります。
具体的には、こちらで作成する「DB設計/API設計」等についてアドバイスをいただきたいです。
特に「スクレイピングの可否」と、法律を遵守する「非機能要件」についてご指摘いただきたいです。
【具体的な仕様】
Google内の特定のキーワードの上位10位以内のサイトの以下の情報を取得します。
- サイト名
- URL
キーワードは10万ほどを、textareaにコピペまたはCSV等でアップロードできるようにします。
取得したキーワードの上位10位のサイトで、同じURLが6つ以上ある場合は同じカテゴリーとして分類分けします。
上記の結果、AとBとCが同じカテゴリー、CとDとEが同じカテゴリーの場合は、検索ボリュームが多い方を優先とします。
例)
Aの検索ボリューム:1000
Bの検索ボリューム:500
Cの検索ボリューム:100
Dの検索ボリューム:50
Eの検索ボリューム:20
Fの検索ボリューム:10
A:A/B/C
E:E/F
取得したデータは、全てCSVでダウンロードできるようにします。
※ その他詳細は後ほど共有いたします。
【目的】
メディア運営の効率化を図るためです。
【募集背景】
メディア運営の効率化を図るためです。
【コミュニケーション方法】
いずれも可
【お伺いしたい点】
・スクレイピングの非機能要件について(法律的観点/技術的観点)
・特定のキーワードに対しての「サジェストキーワード」の取得は可能か
・特定のキーワードに対しての「検索ボリューム」の取得は可能か
その他できることを雑談ベースでお伺いしたく思います。
【ご提案時のお願い】
依頼内容をまとめます。
・私が作成した仕様書のアドバイス(3往復を想定しております)
・スクレイピングでできること/できないこと(主にgoogleの検索周り)
・スクレイピングの非機能要件について(法律遵守の観点から)
「3往復でいくら」と単発の計算の方がわかりやすいかと思い、単発でご依頼させていただきます。
それでは、何卒よろしくお願いいたします。