11分前
※ この募集は締め切られました。
Bot対策されたサイトのスクレイピング方法をご教示ください
【概要】
Python+Selenium+Torを使い、データ収集目的で、とあるサイトのスクレイピングのプログラムを実装しています。画面のボタン押下イベントにより、表示が切り替わるページのため、Seleniumが必須なサイトです。
【目的】
約3,000件の詳細ページに渡る情報の収集を目的としていますが、
100件程度クロールを行うとアクセス制限がかかり、突破口を見いだせずにおります。
Torを介してアクセスしているのですが、それでも制限がかかり困っています。
実装中のソースコードなど詳細は下記をご確認ください
https://teratail.com/questions/ovllz18bhzkiqi
【募集背景】
・1週間の期間で探しております
プロフィール
・本業エンジニア(Webアプリ開発、データ基盤構築、ERP導入、 などが得意です)
・副業でコツコツECを始め半年で月利20万以上達成
大手Sier企業で6年務め、スタートアップで4年エンジニアをしていました。
創業メンバーとしてCTOを経験、現在も立場を変えて継続活動中です。
自由な生活に憧れ、2023年からフリーランスとして活動しています。
地理的、時間的、精神的に縛られず稼ぐため、独立とともに物販事業をはじめました。
エンジニアのキャリアを活かし、自動化・仕組み化・分析などが得意で、
週3~4時間の稼働を半年間コツコツと続け、半年で月利20万以上を達成しました。
最初はやはり大変ですが、コツをつかんでしまえば誰でもできる再現性の高いビジネスだと気付き、過去の自分と同じように「もっと自由な生活を送りたい」と憧れる人の助けができればと思いメンター活動を始めることにしました!
最初はうまくいかないことが多いかと思いますが、
ノウハウ的な部分だけでなくモチベーション管理やマインドセットにも
寄り添って伴走し一緒に自由を体現できる方を増やしていきたいと思っています!
## 技術
・AWS/GCP
・Webアプリ開発(Vercel、Supabase、Upstash、Auth0、SendGrid)
・データ基盤構築(Python、dbt、Snowflake、QuickSight)
・プロジェクトマネジメント・プロダクトマネジメント
11分前