サーバーを利用したスクレイピングの自動化

手動で行っているスクレイピングを自動化、またローカルで管理しているデータをサーバーで管理したい。

一度のスクレイピング でかかる時間２〜５分（実行ファイル数約20〜30）　(定期週２回)

スクレイピングしたデータは過去のデータと時系列順で保存、後再度サーバーの保存
(過去のデータと合致してない場合はエラー通知)

＊参考イメージ
https://qiita.com/satsukiya/items/b9d02abd7fa96cd59355


想定AWSの場合
１、スクレイピング
(定期的にスクレイピングしてサーバーに保存)

定期実行　Amazon eventbridge
スクレイピング　AWS lambda
データの保存　Amazon simple storage service(3S)

2、データの統合
(1が完了後データを統合、エラー時は通知する)

定期実行　Amazon eventbrige
データの取り出し　Amazon simple strage service
データの統合　（エラー時出力）AWS lambda
再度データの保存　Amazon simple strage service

そもそも間違っている等、他いい方法があればそちらに変更します。