ユーザー登録で「300円クーポン」プレゼント!まずは無料登録から!
募集をシェアしてメンターを探そう
シェア
エンジニア スクレイピング AWS Heroku Python

サーバーを利用したスクレイピングの自動化

5月18日
予算
5,000円 〜 10,000円
提案数
1人が提案中

手動で行っているスクレイピングを自動化、またローカルで管理しているデータをサーバーで管理したい。

一度のスクレイピング でかかる時間2〜5分(実行ファイル数約20〜30) (定期週2回)

スクレイピングしたデータは過去のデータと時系列順で保存、後再度サーバーの保存
(過去のデータと合致してない場合はエラー通知)

*参考イメージ
https://qiita.com/satsukiya/items/b9d02abd7fa96cd59355


想定AWSの場合
1、スクレイピング
(定期的にスクレイピングしてサーバーに保存)

定期実行 Amazon eventbridge
スクレイピング AWS lambda
データの保存 Amazon simple storage service(3S)

2、データの統合
(1が完了後データを統合、エラー時は通知する)

定期実行 Amazon eventbrige
データの取り出し Amazon simple strage service
データの統合 (エラー時出力)AWS lambda
再度データの保存 Amazon simple strage service

そもそも間違っている等、他いい方法があればそちらに変更します。

メンティーに提案してみましょう
募集をシェアしてメンターを探そう
シェア