有没有办法从多个本地目录爬取页面

[bephcartsmalac1970]

我在想是否有办法爬取多个目录的列表。我知道Scrape Box可以做到，但有没有免费的替代方案呢？

 

[faldytingra1970]

curl或者wget。

 

[corrsecphohol1972]

我懂一点Python，但不知道如何使用curl或者wget编程。

 

[perbsubtresto1972]

使用curl或者wget获取url输出（使用get或post方式），如果你知道python，你可以使用beautifulsoup轻松实现爬取。在YouTube上有很多好的教程可以学习如何使用它。