如何检查100万个下载链接？

[esunpocomp1983]

您好，我已经生成了100万个以上的WeTransfer链接，但是如果我想将这些链接复制到JDownloader中，我无法看到有多少链接被检查过，也无法看到JDownloader需要多长时间才能完成。如何查看链接是否可用？是否存在Excel解决方案或其他方法？

 

[lahonlivil1979]

如果您发布一个有效和无效的链接，我就能看到要确认链接是否可用的要素。请尝试Scrapebox的免费链接检查器来检查可用链接：http://www.scrapebox.com/free-link-checker。您应该将那个1M列表加载到“您的后向链接”中，并将下载链接放在“您的网站”上。

 

[ferrausontio1974]

嗨，SpoonFeeder，我已经尝试过这个工具，但我觉得我做错了什么...我尝试实现一个可用的链接，但是那个工具找不到任何东西。也许我做错了什么？

 

[dingdermedi1973]

我不确定，但如果能在这里发布2个链接，我会看看是否能帮助你。1. 一个有效的下载链接2. 一个失效链接

 

[cieniabeilyd1982]

有效：t-cDS33AyNgB随机数：t-FYElbbqeqS你需要添加标准的WeTransfer链接，我无法发布链接，在这个论坛上我是新手。

 

[stangemacti1989]

这是一个缩短的链接，重定向到下载页面，免费链接检查器不会跟随重定向。您可以使用附带Scrapebox的Redirect checker Add-on来完成此操作：http://www.scrapebox.com/redirect-checker，并通过删除重定向到此页面的链接（https://wetransfer.com/redirect/error）来过滤掉所有无效链接。如果您正在寻找免费替代品，请尝试https://netpeaksoftware.com/checker。他们提供14天试用期。

 

[schemollawa1975]

无法下载 Netspeak……如果我在邮件中点击下载链接，只会打开 Google。

 

[ressgosebu1978]

Scrape Box 实际上太贵了，不值得尝试……还有没有其他可用的解决方案或软件？

 

[tiogeabsacomp1974]

有人用Python吗？https://github.com/bartdag/pylinkvalidator。

 

[skelgetdogsful1977]

使用脚本对网站链接进行ping，获取HTTP状态码或者尝试使用https://httpstatus.io/。

 

[kpicenilsa1971]

链接超过100万，且该服务不提供API，不过我认为OP不会编写脚本。无论如何，我发布的Python脚本可以输出状态码。对于OP，如果是301/302，则是重定向（有效）。如果是404，则表示未找到（无效）。

 

[snotageshay1980]

我同意，由于OP买不起Scrapebox，我想象他的电脑崩溃或停电了会怎么办，没有UPS，所有导出到数组的结果将在一瞬间消失，这就是为什么我把编写函数放在循环中的原因。

 

[erimmanla1986]

你只需要将代码保存到文件中，例如wtcheck.py，并按照这个视频的说明进行操作：https://editrocket.com/articles/python_windows.html。假设该脚本需要2秒钟来检查一个链接并写入文件，你能在23天内持续运行该脚本以获取数据吗？

 

[tweakconnovo1989]

在网站上，我找到了这些推荐软件。是的，一次可以检查的 URL 数量限制为100个。这是为了尽可能预防服务器超载和超时，并且为了给所有用户带来最佳的体验。如果你想一次检查更多的 URL，可以使用像Screaming Frog SEO Spider、DeepCrawl或Sitebulb这样的网络爬虫工具。那这样会更好吗？

 

[kaodoogepor1975]

当然，如果你能想出一种方法来分割混合的链接，并愿意手动做一切。

 

[daciterratt1971]

你已经得到了解决方案...使用Scrapebox，或按照给定的代码使用，或者雇用自由职业者为你工作。没有钱很难做任何工作，在这个游戏中你需要钱，抱歉。使用提供的脚本，没有任何问题。你甚至如何使用结果，你需要将它们分类并放在某个地方，我建议你先使用免费方法，然后存钱，然后购买Scrapebox和GSA索引器。

 

[beinohoters1978]

主题已移动。

 

[tinmesamon1978]

将所有链接导入到一个表中，创建脚本逐个测试链接（Python、PHP等），将每个有效链接保存到另一个表中，从第一个表中删除已测试过的每个链接。即使你的脚本停止了，你也可以从未测试过的链接重新开始。

 

[esdissajan1971]

他不知道如何运行Python脚本，你还想让他编写一个数据库集成的机器人。