php curl

[lophyviti1970]

我正在使用PHP Curl来做一些网页抓取（无法发布网址），并且它可以在根域名上工作，但是我似乎有一个问题，只能想到与URL结构有关。我不能并且真的不想发布确切的网址，但它看起来像是这样[domain].co.uk/word-word-123-c.asp，这会导致Curl出现问题，如何解决？注意：我不使用PHP。

 

[glicoxastos1982]

我有点迷失方向。问题到底是什么？如果您不想发布URL，请私信我，我可以帮助您。我有丰富的网站抓取经验。

 

[flavthinkcennie1972]

使用CURL，您可以获取任何类型的页面，无论其URL结构如何。如果这就是您的问题？

 

[earurunsea1985]

如果我说错了，我很抱歉，但这不应该放在脚本部分吗？你可能会在那里得到更多了解PHP的人的帮助。回到主题上：有很多爬虫脚本可以做你想做的事情。你可以试着找一个类似你想要的脚本，然后从中提取代码。如果你不知道PHP，一个学习的好方法是看工作代码，搞清如何让它做你想要的事情。祝你好运！

 

[klinrachansay1970]

一个简单的方法可以是使用file_get_contents("[domain].co.uk/word-word-123-c.asp")，但是curl确实有更好的好处。

 

[profenover1984]

在你开始爬取你真正想要爬取的站点之前，先在一个简单的网站上测试你的代码。也许在你想要爬取的那个站点上还有其他的问题。

 

[softkacoven1981]

尝试从命令行执行curl或wget。如果站点上的某些内容阻止了你，你将能够立即看到你的错误，而不必通过网站服务器记录它们的地方。或者，开始阅读你的错误日志（如果你使用cPanel，它们应该很容易直接通过cPanel或FTP访问）。

 

[ovtonantters1988]

告诉我们你的问题是个好主意。但是，如果你想抓取的 URL 是安全的（httpS），请添加以下内容：OPTcurl_setopt($cn, CURLOPT_SSL_VERIFYHOST, 0)；curl_setopt($cn, CURLOPT_SSL_VERIFYPEER, 0)；

 

[dipnovathes1979]

你可以使用get_file_contents来查看是否会出现错误。我有一个curl函数，但如果网站受到保护，它不会出现错误。Rick

 

[gerraciti1985]

你是不是想说file_get_contents?

 

[brigammaico1989]

如果你不告诉我们实际的错误，否则谁也不能真正帮到你。编辑：应该检查一下OP的日期。

 

[wistmatjufo1987]

哈哈，我完全没注意到。我怪ComputerHelp808。

 

[mercimarpo1989]

最好使用file_get_contents