再也不用手动扒QQ群链接!灵犀做的自动化工具,采集结果直连云文档
Lv.2 潜力创作者
让灵犀给我做的exe小软件,自动采集QQ群里面的链接,经过我多版更新,现在已经稳定运行很久了
用灵犀把"每天的重复机械步骤"做成了一款简单易用信息采集器并上传云文档,全程自动化
做这款工具的初衷很简单:平时工作忙,没有时间去各类资源分享群、尤其是影视类交流群里,每天都有大量网盘链接分享,手动逐条复制整理效率极低。
特别是一些影视群,里面有很多链接分享,相比这些统一收集起来,一个个的复制太麻烦,让灵犀给做了一个自动的收集器,
把 QQ 聊天记录和几十个腾讯频道里的网盘资源,每天自动采集、清洗、验活、汇总,同步到云端在线表格,
具体流程给大家分享一下
这是大致流程
复制 QQ 消息库(WAL 三件套防漏消息)→ 解密 → 提取消息 → 腾讯频道采集器抓取 + 频道(线程并行)→ 去重入库 → 链接整理(年份分类、死活巡检)→ 上传云文档 → 复核与三道托底。
版本演进史(v2.x → v3.9.26)
2.1 早期:从导出到全量重构
v2.x 增量链路时代:SQL 层时间增量、本地兜底、无变化跳过——但增量边界问题埋下隐患。
v3.0(9月3日):重构为「先本地后云端」全量模式,实测 17.8 万条消息、3.5 万条链接。
v3.1:频道采集器并入主流程(6 步变 7 步),独立定时任务停用。
v3.2:修复超大写入请求被限流(JSON 解析 8 连败)——每批写入立即读回提交。
v3.3:云上传改增量优先,校验失败自动回退全量。
v3.4:等号开头文本被当公式的修复(列文本格式转义)。
2.2 中期:性能与体验
v3.5:新增数据「最新在上」——全量重建倒序写 + 增量追加后降序排序;期间 insert_rows 顶部插入曾损坏整理链接表,用本地全量重建修复。
v3.7(9月4日):并行化改造——频道采集器后台启动、与本地处理并行、上传前汇合;本地链路 162 秒压到 99 秒,云上传批次加大后约 3 分钟。
v3.8:exe 化,脱离灵犀独立运行(不耗灵点);为此踩过凭证、sys 引用、排序失效三连坑。
2.3 近期:加固与生态
v3.9.19:云端只增备份表(数据丢失自救)。
v3.9.23c:五张链接表末列融入「死活状态」(存活/失效/待复核),每日全量巡检 + 历史回刷。
v3.9.24 系列:QQ 库 WAL 模式漏最近消息的修复(三件套复制 + 提取层字段加固,多找回 4086 条);夸克验活改纯 HTTP 接口全量检测,只有迅雷还用浏览器配额。
v3.9.25 系列(10月24日-30日):外部 AI(DuMate)执行改 A~E 五项修复经我核验;每日统计 A2 校验 bug 修复;安全重建切换阶段加固;QQ AI 目录整体迁移(符号链接保兼容)。
v3.9.26(11月2日):频道详情抓取上线——解决「链接要点开帖子才出现」的问题。
三、每日更新 7 步流程
现行流程(每轮自动执行,双轮次 9:30 / 16:30):
数据库变更检查——按文件修改时间跳过无变化轮次
复制 QQ 消息库——WAL 三件套(主库 + wal + shm)防漏最近消息
解密 + 全量提取消息——字段加固与富文本兜底扫描
频道采集器——49+ 频道多源采集,后台并行启动
本地写入全部消息 + 每日统计
整理链接——年份分类、死活全量巡检
上传云文档 + 备份表追加 + 步骤7复核(云端与本地行数逐表核验)+ 表健康巡检
两处特殊环节:步骤 4.5 的 115 全量/天翼汇总用零丢失安全重建;步骤 7 之前所有并行任务汇合,上传期间绝不并行其他云写入。
下面这个就运行窗口
后面我直接让它后台运行了,直接全程无感
设置了电脑自动启动与灵犀定时校准,双保险
这是修改过程
结语
这个体系教会我最重要的一课:自动化不是「写个脚本跑起来」,而是「让系统在没有你盯着的时候也不说谎」——退出码会骗人、冒烟测试会骗人、交接记录也会骗人,只有对真实数据的复核不会。55 万条消息、9.7 万条链接背后,是十几次真实事故换来的每一道防线。
#我的AI工作助理灵犀
#靠谱AI办公WPS
#AI创想家
#WPS会员日
#靠谱AI办公WPS
#我的职场搭子
#WPS会员有办法
#WPS会员
#WPS年终备战季
#WPS会员有办法
#灵犀
#灵犀高手案例
#灵犀专业版