Selenium和Playwright - 网络自动化和爬虫之间的比较。

[senabudgehr1988]

我希望能制作一款机器人，从一个社交媒体网站上爬取数据，并将其上传到另一个网站上。但我不确定应该选择哪一个机器人技术，以避免被封禁。Selenium还是Playwright呢？我两种技术都没有太多经验。

 

[ratrihynut1983]

从这里开始：https：//github.com/prescience-data/dark-knowledge 玩得愉快！

 

[wollthompwordpeach1977]

没有哪一个更好，如果未修补的话，两者都很容易被检测到。您可以使用像Anty Browser这样的项目，它可以很好地掩盖Chromedriver的使用，并允许您使用Selenium或任何其他CDP控制器来自动化您的任务。Playwright是我现在最喜欢的，但这并不重要，您应该选择最舒适的方式。

 

[smaramcoppi1977]

我使用Selenium，效果还不错。最好在Chrome中为您的社交用户名创建个人资料，并将这些个人资料导入到Selenium中。这样有助于处理ookies。

 

[catchtibasym1980]

嗯，我正在使用Selenium，没有任何问题。您只需要设置用户代理和一些重要的Chrome选项。根据您的操作，AutoIt可能是一个很好的补充。祝好运。

 

[rousmolica1981]

@Alexion @brucebanner使用未修补的webdriver和/或普通的Selenium是不可以的，OP明确提到了避免封禁的兴趣。

 

[inicaghous1985]

不知道“修补”的意思，但我有一个igbot和一个gmail创建器。从未被封禁过。

 

[igathcurligh1975]

不知道你是否参考了包含会触发浏览器的某些单词的chromedriver.exe代码，如果是的话，这完全是“互联网故事”。

 

[adsilessra1986]

不，那些都不会引发浏览器，浏览器不关心。如果网站想知道你是否使用自动化，他们会知道的。OP寻求不可检测的方法以避免封禁，你的设置对此无用，你之所以没有被封禁，是因为网站不关心或使用不同的方法，例如行动限制。

 

[mimirdasi1971]

嗯，IG真是个非常敏感的应用/网站。我用过Facebook/Twitter/Gmail/IG等的机器人，从来没有遇到过问题。也许您自己没有找到解决办法，而补丁对您有用。在这种情况下，这对您来说很好，但我个人不使用补丁或其他东西，我使用的时间长，访问的网站也很多，相信我，当我说它不会被检测出时，它就不会被检测出。如果您有怀疑，因为您似乎对自己所说的非常确定，我现在可以向您展示如何做到这一点，测试它并回来说它是有效的。您不能说您拥有某件事情的唯一解决方案。所以，如果您想看看，请告诉我。我会向您展示，这将结束辩论。

 

[tingpizafest1980]

Instagram是基于行动的，尝试使用您的自动化程序打开像https://nordstrom.com这样的商店或创建一个Tinder帐户，而不会立即受到封禁。我不怀疑，也不需要您向我展示任何内容，您的谈话方式已经足够告诉我您的经验水平。

 

[lonapdora1986]

将您的Chromedriver机器人访问Creepjs（https://abrahamjuliot.github.io/creepjs/）并在此发布屏幕截图。

 

[tresverravi1971]

如果不设置适当的用户代理和Chrome选项以打开普通浏览器，他们很容易检测到自动化机器人。

 

[stepelovni1973]

我认为我很有礼貌，我只是以同样的方式回答你，就像mr.iknoweverything。这对像你这样聪明的人来说很悲哀，我认为我必须快速简单地向你解释，因为你像你的方式是唯一的方式一样。就这么简单。我没有表现出任何不尊重，也不想这样做。另一方面，回答我，我说话的方式可以确定我的经验水平......但你有没有重新阅读一下你是怎么来谈论你知道一切的？无论如何，我没有对你怀有任何敌意。对你最好的问候。

 

[goebrasraser1980]

不，独特的用户代理是不好的，你必须融入人群，因此使用最常用的用户代理是最好的选择。而且用户代理必须匹配您的系统，因为欺骗操作系统几乎是不可能的。即使这样，使用默认设置也会使您的webdriver容易被检测到。

 

[funcroolacle1975]

我不介意显示不尊重，因为现在每个人都认为他们应该受到尊重，即使他们在说胡话或做出不可敬的事情。就我而言，我并不知道所有的事情，但是有一些具体的话题，在这些话题上，我的知识已经被证明是超过平均水平的 - 反向工程、Web自动化和构建大规模机器人是我深入研究和努力掌握至完美水平的事情。而“我的方式是唯一的方式”甚至是什么意思，简直就是胡扯 - 这与我使用的东西或我如何使用它没有关系，这是一个简单的事实，就是使用未打补丁的chromedriver的selenium很容易被检测到，如果你试图自动化的网站关注一些敌对或恶意的用户，你将是第一个受到封禁的人。

 

[sickriconball1981]

是的，我的错。我实际上是指非唯一的。

 

[loyrasubsvol1976]

嗯，我的意图不是要冒犯你，如果我冒犯了你，我很抱歉，我是和平地来到这里，而不是准备开战。如果你感到冒犯了，我很抱歉。我的朋友，没有恼怒！

 

[slidacdeicuar1979]

我使用Selenium为SM制作了我的机器人。多年来一直非常顺利运作。

 

[ndolinanlol1975]

“这就是事实。Selenium是为Web自动化而设计的，最初是来自TSL（测试脚本语言）。谷歌100%知道你在使用它。他们关心吗？不。社交媒体网站知道你在使用它吗？是的。他们关心吗？有些人关心，有些人不关心。绝大多数社交媒体机器人使用后端API或流注入器。所有那些说自己在我的X网站上使用Selenium并且从未被封禁的人，等等吧，当那些有权力的人发现他们的女友正在给邮递员口交时，你的社交媒体账户将被冲进马桶，就像他的尊严一样。这可以帮助我使用的不可检测的Chrome项目，但仅限于抓取数据。我使用什么？Autohotkey，我向你保证，如果你花时间学习一种实际的TSL语言，那么这个星球上没有人会发现你在做什么。但这里的问题是人们不愿意投入努力换取后来的回报。他们只想要复杂问题的快速解决方案、快速周转和轻松的钱。”