Selenium PhantomJS似乎是最好的选择。
S syndirama1978 New member 2021-09-14 #4 Selenium太神奇了,但底层的FireFox编译是垃圾。每个人都知道如何检测运行在FireFox ESR编译环境下的浏览器,这也是Selenium能够正常工作的原因之一。虽然Selenium能够处理80%的网站,但对于其他20%,你需要使用基于Chrome的浏览器自动化平台。
Selenium太神奇了,但底层的FireFox编译是垃圾。每个人都知道如何检测运行在FireFox ESR编译环境下的浏览器,这也是Selenium能够正常工作的原因之一。虽然Selenium能够处理80%的网站,但对于其他20%,你需要使用基于Chrome的浏览器自动化平台。
D diopohunla1979 New member 2021-09-14 #5 真的吗?你没有夸张一点吗?我读过幽灵很容易被检测出来(虽然可以通过JS反制)。但FF不比Chrome更容易被发现。我读过有关发现硒的研究,它们同样能够很好地发现Chrome和FF。除非有一些新的东西(我已经有一段时间没有研究它了),但在谷歌上没有找到任何东西,如果“每个人和他们的妈妈”都知道,那么应该很容易找到。
真的吗?你没有夸张一点吗?我读过幽灵很容易被检测出来(虽然可以通过JS反制)。但FF不比Chrome更容易被发现。我读过有关发现硒的研究,它们同样能够很好地发现Chrome和FF。除非有一些新的东西(我已经有一段时间没有研究它了),但在谷歌上没有找到任何东西,如果“每个人和他们的妈妈”都知道,那么应该很容易找到。
A acpicusa1975 New member 2021-09-14 #6 现在大多数自动化都可以被检测出来。Distil Networks和许多其他公司可以通过js和标头分析检测到Selenium和Phantom。尽管如此,你计划自动化的任何行为可能会被基于活动而不是浏览器/软件而禁用。
现在大多数自动化都可以被检测出来。Distil Networks和许多其他公司可以通过js和标头分析检测到Selenium和Phantom。尽管如此,你计划自动化的任何行为可能会被基于活动而不是浏览器/软件而禁用。
J jectitorjins1975 New member 2021-09-14 #8 请纠正我:selenium 不是使用真正的浏览器吗?此外,您可以在 PhantomJS 上设置所有标题,如果您小心,可以完全模仿 Firefox 或 Chrome。只需捕获一些合法的 FF 或 Chrome 流量并应用相同的标题即可。我看到的问题是 PhantomJS 经常崩溃。
请纠正我:selenium 不是使用真正的浏览器吗?此外,您可以在 PhantomJS 上设置所有标题,如果您小心,可以完全模仿 Firefox 或 Chrome。只需捕获一些合法的 FF 或 Chrome 流量并应用相同的标题即可。我看到的问题是 PhantomJS 经常崩溃。
S synmiroomic1974 New member 2021-09-15 #12 这可能是zenno的工作方式,但这不是selenium的工作方式。您不必使用ESR版本。它将使用机器中安装的Firefox版本。安装Firefox v45,selenium将使用v45。安装v40,selenium将使用v40。从v45开始,您需要使用marionette,因为FF破坏了ffwebdriver。FF正在推进接线协议(selenium的工作方式),而不是等待selenium跟进。
这可能是zenno的工作方式,但这不是selenium的工作方式。您不必使用ESR版本。它将使用机器中安装的Firefox版本。安装Firefox v45,selenium将使用v45。安装v40,selenium将使用v40。从v45开始,您需要使用marionette,因为FF破坏了ffwebdriver。FF正在推进接线协议(selenium的工作方式),而不是等待selenium跟进。
G guistoconam1988 New member 2021-09-15 #13 和大多数人一样,当我需要一个无头浏览器时,我使用PhantomJS。还有其他的(非无头)工具,如Imacros .Net Component,CefSharp和Selenium。PhantomJS很容易被检测到,这里是我使用Fiddler收集信息的一个测试。只有在使用PhantomJS时,Tumblr才发送给我那个函数来验证我的浏览器。
和大多数人一样,当我需要一个无头浏览器时,我使用PhantomJS。还有其他的(非无头)工具,如Imacros .Net Component,CefSharp和Selenium。PhantomJS很容易被检测到,这里是我使用Fiddler收集信息的一个测试。只有在使用PhantomJS时,Tumblr才发送给我那个函数来验证我的浏览器。
N ningcuvema1971 New member 2021-09-15 #14 如果你想自动化网站,确实没有质量好的无头浏览器,它们都有各自的问题。目前最好的选择是使用Selenium在XVFB上运行,这样可以让它呈现无头浏览器。你还可以为其提供自己的鼠标,以便自动化,并将其容器化以在单个机器上运行多个实例。
如果你想自动化网站,确实没有质量好的无头浏览器,它们都有各自的问题。目前最好的选择是使用Selenium在XVFB上运行,这样可以让它呈现无头浏览器。你还可以为其提供自己的鼠标,以便自动化,并将其容器化以在单个机器上运行多个实例。
M myfnirepde1984 New member 2021-09-15 #15 我知道了。但是检查报文头的顺序是一种非常脆弱的方法,因为您可以安装插件来更改Firefox的报头。如果网站开始基于此进行过滤,它将破坏许多浏览器。
S sigcotentte1976 New member 2021-09-15 #17 在学习了Fiddler的调用后,我会使用HTTP请求。或者如果我必须使用文档,我会使用HTML Agility Pack并从那里调用元素。还有NHtmlUnit nuget包,我听说很不错。