ウェブスクレイピングの実際の仕組みとAIがすべてを変える理由 from zdnet.com

ウェブスクレイピングとは、コンピュータをプロキシとして利用し、稼働中のウェブサイトからデータを抽出する手法です。
抽出されたデータは、スクレイパーのサービスプロバイダーのサーバーにフィードバックされ、分析や調査に利用されます（下記参照）。
しかし、AIは限られたリソースでウェブサイトをスクレイピングするため、産業レベルではこれは不可能です。
しかし、多くの企業がこうしたサービスにデータをライセンス供与し始めていることは注目に値します。