要爬取哪个网站？

[wiasenbomoo1973]

嗨，有什么关于网站爬取的想法吗？

 

[tradlitcuris1973]

您能具体说明一下您在这里考虑些什么吗？比如您想要的域名、方法、数据、经验？

 

[ovacidna1981]

我只是在寻找一个很酷的网站来爬。

 

[alerener1982]

从维基百科上爬取过期域名。注册它们，转售它们=利润。

 

[ovborvelchjamf1974]

或者，只需登录到过期的域名，并按维基百科回链进行过滤

 

[ensnowpergfi1973]

听起来很酷

 

[boarescifel1983]

哦，好吧，那肯定是一个选择。但是，那里有许多狼在等着在你之前注册一个..

 

[herztokofdi1983]

这取决于数据库的最新程度。

 

[siocrintycztost1976]

嗯，是的，但实际上也不是这样，或者说不值得费心。注册、主机等等要占据好域名的90%，之后才是"狼"，然后才会进入市场进行公开注册。我已经检查了大约10-100k过期域名，发现其中不会死死地被垃圾信息覆盖的成功率几乎为零。我还记得有一次我发现的一个商业咨询域名具有DA40和0条垃圾反向链接，那是我找到的最大的一次。

 

[prentudetly1981]

甚至可以建立一个基于列表或反向链接数量等自动购买它们的机器人。

 

[heartboozsondchlor1979]

那将是有史以来最糟糕的想法。越多的反向链接，越有可能是垃圾链接。如果有一个具有许多反向链接的好域名，它永远不会公开注册。

 

[plugpiegrotvi1978]

是啊，我是说让一个域名具有价值的因素。

 

[lindpitlybin1983]

你可以选择拖延一切或者高效完成任务，这是你自己决定的。我在我的帖子中提到的建议是给他一个酷的项目构建的想法。一个实用的项目总会让你在新的方面受到挑战，这也许不是你能想到的。尝试并不会有任何伤害。即使没有其他人使用这个工具，他至少有一个私有工具用于这样的工作。第二，如果你很幸运，你仍然可以得到一些非常棒的域名。所以这是一个双赢的局面。

 

[satipatu1978]

完全同意。我目前正在研究如何让这个工作自动化，将所有内容发送到数据库并在域名过期时向Telegram发送警报。首先必须找到一些逻辑来爬取维基百科，然后爬取网址并进行Whois查找并保存。也许先集中精力关注特定的类别会有所帮助。

 

[cenniworze1988]

谢谢这个主意。我现在已经进行了实践，已经找到了一些过期的域名，不过不可用的。不确定这是如何工作的，通过一些谷歌搜索我找到了这个网址：https://www.icann.org/resources/pages/epp-status-codes-2014-06-16-en#redemptionPeriod

 

[ategdreamim1971]

你想要爬取的网站类型取决于你想要找到的具体数据。如果你想要了解某个主题的一般信息，新闻网站或百科全书可能是一个不错的选择。如果你想要获得更具体的数据，可以考虑爬取论坛、评论网站甚至是商业目录。最终，你决定爬取的网站类型应该取决于你希望获得的数据类型。

 

[vosklumamont1975]

爬取一些高价值的东西。比如，Indie Hackers 上有一百万以上的人，他们中的大多数人都公开了他们的电子邮件。用他们的邮件爬取。有人这样做了，并建立了一群高度成功的企业家的 Slack 组，现在通过播客和博客赞助赚了很多钱。

 

[goodroresbirch1972]

听起来很有意思。我肯定会去看看它。

 

[doorlisukbump1976]

如果我理解正确，你可以在赎回期后进行注册。