灵犀claw使用playwright网页自动化

wils
wils Lv.2 潜力创作者

Lv.2潜力创作者

灵犀claw写py脚本用requests之类的库抓取很顺畅

但需要逆向,不易上手,下面只是尝试自动化方式


灵犀claw似乎默认使用nodriver

但我尝试以debugger方式启动chrome后,再让灵犀以cdp方式连接它,会出错,疯狂弹出无数个edge。。。

普通网抓用它也不算稳定

所以干脆尝试传统playwright方式


首先,让灵犀安装库

  • 安装playwright及其内置的chromium浏览器

然后,让浏览器记住目标网站的登录状态

  • playwright以持久化模式启动chromium,打开bbs.wps.cn,记住我的登录状态

然后,使用codegen方式记录操作

  • playwright用chromium打开bbs.wps.cn,用codegen模式记录我的操作

在浏览器上给前5个帖子点赞,然后点击屏幕上方的停止录制按钮,然后关闭浏览器

回到灵犀claw,会自动分析录制的脚本,知道进行了哪些操作

在这个基础上,可以让灵犀claw进行修改,添加操作

最后可以将脚本转为skill


如果不使用codegen方式,那最好F12查看具体需要操作的容器,操作描述的越精确越好

否则灵犀claw会乱试一通,消耗大量灵点,有点心疼🤣


除了持久化模式启动内置的chromium,还可以手动打开本地安装的chrome

先关闭已开启的所有chrome,然后给chrome创建快捷方式,右键属性,添加运行参数

🔔

chrome.exe --remote-debugging-port=9222

这样开启的浏览器,可以像正常浏览器那样登录网站

然后让灵犀claw,启动playwright以cdp方式连接已打开的chrome,再进行进一步操作,并制作成skill


requests方式稳定快速,但需要自行逆向,比较困难

自动化方式,用playwright更稳定、灵活

另外,还可以让灵犀claw写油猴脚本,然后本地启动服务,接受油猴脚本采集的信息


总之,采集网站信息的方法很多,但没有十全十美的办法,总要修修补补不断完善才行

灵犀claw免除了大部分写代码的工作,让新手也能简单上手,还是很香的

海南省
浏览 49
收藏
2
分享
2 +1
+1
全部评论