爬取动态加载的Java脚本网站

raisnifabus1984

New member
有没有人知道有哪些好的视频教程或文章可以教授如何抓取动态加载Java脚本网站的数据呢?我在YouTube上搜索过,但每个有关抓取网站的教程都只涉及那些在HTML中可见的内容。我还没有找到一个可以帮助我抓取那些完全通过Java脚本或隐藏api加载数据的网站。
 
有两种方法-1.首先考虑使用XHR请求,将其替换为HTTP请求。或在您的代码中模拟它。 2.将使用带有Webdriver / 无头浏览器的库来模拟页面加载,然后运行您的Scraper,例如Selenium,Playwright或Pyppeteer等。这是我找到的一些-(使用XHR)
 
@BlogPro和@Smackhead所说的一切,或者直接选择一个预加载了大量指纹和技巧的无代码现成浏览器自动化解决方案,可以轻松完成工作,节省大量时间:Zennoposter(你可以在这里找到它,在市场上)或BAS。
 
顶部