Selenium和Playwright - 网络自动化和爬虫之间的比较。

[ritimicriff1973]

“来吧，伙计们，我们把精英主义留给那些充满讽刺刻薄的网站吧。这里分享了很棒的话题，但是我们要稍微冷静下来，不要用侮辱和说教方式把帖子灌满了。对，我是故意用了个双关语。”

 

[chandvelwrabco1975]

如果你使用用户代理欺骗和xhr检测概率接近于零！

 

[penftungfizi1986]

我认为这与精英主义无关 - 如果人们用不真实的建议或评论破坏了讨论，那么这个讨论有什么价值？想要学习的人会去阅读，如果这个讨论充满不真实的内容，而且自信地呈现，那么很难区分好的信息和坏的信息。我知道这个，因为我是从这个论坛学习市场营销的（现在仍然在学习）。只有通过呼吁，才能增加价值。换句话说，有时为了他人，你需要成为一个外行。

 

[prinoftrafim1979]

TCP/IP堆栈指纹识别- 维基百科 https://en.wikipedia.org/

 

[distsensluti1978]

很酷看到有人在野外提到AHK。我在以前学过一点autohotkey，社区真的很有帮助。有很多为它构建的好工具。甚至有Pulover's Macro Creator，虽然我没能让它工作，但看起来很不错 https://www.autohotkey.com/boards/viewtopic.php?style=7

 

[cribgapulli1980]

我每天都使用Pullovers Macro Creator，实际上他已经和selenium团队做了一些播客，展示了如何将JavaScript注入到Chrome工具中以自动化操作而不被检测到...这比Selenium更难实现，因为它是纯脚本，但一旦你有一点时间使用它，它就非常好用。

 

[reldpermicus1978]

这真的取决于你。只需选择你喜欢的开始。然后开始比较。哪个让你走得更远？

 

[riamcalrentna1985]

说真的，当时我非常不耐烦，匆忙浏览了教程，所以100%是我的错，我没能让它工作。我现在正在学习JS，但只要我达到满意的水平，我就会再次尝试AHK并检查一下。我记得买过Joe Glines的教程，很不错。它总是让我惊讶的是，在这里很少谈到AHK，考虑到它是免费的，文档齐全，有如此好的社区和工具。

 

[anagcrookin1984]

TCP/IP堆栈指纹识别 - 维基百科en.wikipedia.org 看起来你从未听说过selenium-stealth，fake-useragent库...

 

[itakbume1974]

你刚才点名批评的那个人是该论坛中自动化和建立机器人方面最有技能的成员之一。你要么根本没有尝试理解那个维基链接下写的内容，要么就是在恶搞 - Selenium Stealth对抗高级反机器人检测公司也没什么帮助，改变用户代理也一样。要运行一个真正的隐身自动化项目需要比这些简单和基本的事情多得多的东西。有数十个价值数百万美元的公司专门检测并防止在客户网站上使用Selenium。

 

[hythlanata1981]

我一直试图将浏览器自动化转移到HTTP请求，但有些网站每个按钮点击都会在我的Fiddler监视器上生成大量请求，这使得这个过程非常困难。最终，一两天后我只好重新回到浏览器自动化。你花了多长时间才能够轻松地使用HTTP请求工作？我唯一觉得舒适使用请求的是当我在使用像Text2Data或OpenAI这样的API时。

 

[osunecsu1989]

说实话……像你所说的，模拟HTTP请求很棘手……不过，使用API时，只要按照文档的说明操作，就会很简单……你不应该重新创建你在Fiddler或浏览器sev工具中看到的这些请求，所以不要指望它像API文档那样清晰……我想说的是，也许要对每个浏览器操作进行微观分析，并一步步进行。

 

[huayndolmenkdoorf1988]

很多。例如，作为使用Selenium在个人和职业领域中的人，我真的从未听说过Playwright。这个帖子让我了解了一些以前不知道的东西。至于任何虚假和/或误导性信息，我理解你的意思。保持准确性很重要。

 

[riecontpresse1978]

还有 Puppeteer，你可以通过 Puppeteer 来完成浏览器中大部分手动操作！以下是几个例子，让您更好地了解 Puppeteer 的用途：生成页面的截图和 PDF 文件，爬取单页应用程序并生成预渲染内容（即“服务器端渲染”），自动提交表单、进行 UI 测试、键盘输入等等操作，创建最新的自动化测试环境。使用最新的 JavaScript 和浏览器功能，在最新版本的 Chrome 中直接运行测试。捕获站点的时间线跟踪，以帮助诊断性能问题。测试 Chrome 扩展。Microsoft 也有一个针对 COM 的宏系统，包括 Edge。

 

[ewimomsnor1983]

所以，你不够聪明制作一个无法检测的机器人。我可以问一下，我们如何在没有任何问题的情况下运行数百个社交媒体账户？我们在Selenium中开发了大量的预测试工具，所以我非常清楚我在说什么。但如果你这么说的话，那就不可能。

 

[eribriawel1986]

放轻松。你在这里发布的建议很棒。正如你和我某天指出的那样——仅仅使用Selenium并不适用于机器人战术。这是错误的工具，根本不匹配。我最近使用了Autohotkey，更快地完成了你想要掩盖和永久忘记的那些任务之一。在违反其真正用途并低估其潜力之后，我来到这里，意识到我的时间并不是浪费在学习这款优秀软件上。谢谢你分享这个提示。

 

[dispcompracli1977]

我只是提供库用于参考。这并不是开发讨论帖，所以不需要进一步讨论。如果OP有兴趣，可以深入挖掘。正如我在第一篇帖子中所说，检测与无存在几乎没有区别。我坚持这个说法。

 

[landmapeecon1975]

我一直想过做一个Udemy课程。“用AHK完全自动化制作PVA Gmail帐户”。也许有一天我会去做，只是为了给谷歌一记棒子。

 

[tonopati1976]

另外@Captaintj不要忽略已有的解决方案，例如@rootjazz为自动化Instagram和Twatter制作软件，它们都配备了内置的网络爬虫和大量选项。

 

[kracretaci1989]

这是一个非常有趣的话题，这里有一些非常有见识的人。我已经成功地在 selenium chromedriver 上应用一些黑客技巧，使一些谷歌验证码更容易通过。但在这个话题上，这就是我的专长了。这似乎是一个绝对可靠的想法，甚至可以用一个简单的 Java 机器人类来完成输入。但是，如何与网页进行交互？比如读取内容并找出要点击的位置？自己写一个定制浏览器插件？