你好,我购买了一个带有api链接的旋转代理。我已经使用python编写了爬取脚本,但我不知道如何设置代理和api链接。我正在寻找的是?有人能够解释如何连接到这个代理,以及如何在爬取脚本中进行轮换。
Q quicalisigh1988 New member 2021-08-14 #1 你好,我购买了一个带有api链接的旋转代理。我已经使用python编写了爬取脚本,但我不知道如何设置代理和api链接。我正在寻找的是?有人能够解释如何连接到这个代理,以及如何在爬取脚本中进行轮换。
C culmacochre1981 New member 2021-08-14 #3 我对你想要实现的目标有些不清楚。你可以使用Flask / Django(或其他某种框架)设置API网关,并以异步方式进行设置。 https://github.com/Ge0rg3/requests-ip-rotator https://cloud.google.com/apigee/docs/api-platform/fundamentals/understanding-apis-and-api-proxies https://scrapeops.io/python-web-scraping-playbook/python-aiohttp-proxy-rotation/ 只需谷歌搜索大约2分钟,就会找到一些解决方案。
我对你想要实现的目标有些不清楚。你可以使用Flask / Django(或其他某种框架)设置API网关,并以异步方式进行设置。 https://github.com/Ge0rg3/requests-ip-rotator https://cloud.google.com/apigee/docs/api-platform/fundamentals/understanding-apis-and-api-proxies https://scrapeops.io/python-web-scraping-playbook/python-aiohttp-proxy-rotation/ 只需谷歌搜索大约2分钟,就会找到一些解决方案。