Instagram帖子Scrapy

[matipplanlya1985]

你好，我使用公共Instagram API检索用户的基本数据和其最近的12篇帖子。但我想检索用户的所有帖子。我测试了Python的Instagrapi，但没有成功，每10个请求中只有2个成功。有没有人知道任何可以完成此任务的API或软件包（可以是Nodejs，PHP，Python…）？可以是免费或付费的。

 

[breadjourrotac1983]

Puppeteer或Selenium都可以完成此任务，两者在node和python中都可用。

 

[waigallinkmarb1985]

我知道这比没有好，但你知道这些工具的速度吗？爬取一位用户的1000篇帖子需要多少秒？可以在几分钟内完成吗？

 

[nehademo1979]

如果你用手机查看单个用户的1000篇帖子，需要多快的时间呢？大致上需要同样的时间吧。

 

[bartaregi1983]

Selenium软件包是适合您的工具。但不要这样做！这不仅会花费时间，还可能导致数据丢失...我的建议是设置一个限制，例如为此类事情设置范围，并创建每页加载10篇文章的页面。

 

[tiovincoefret1983]

我认为最好的选择是从RapidApi中心使用一些稳定的解决方案。有许多带有免费试用版的工作版本。

 

[lerazelra1987]

你是用哪个Instagram API实现的呢？

 

[netpmatanva1973]

我也很感兴趣。

 

[tatilnise1979]

我强烈建议花时间去投资于获得一个能够与JavaScript等一起使用的http框架。完整的浏览器实例所需要的资源是巨大的，而大多数都是用于测试而非自动化，尤其是Selenium。