再也不用手动扒QQ群链接!灵犀做的自动化工具,采集结果直连云文档

石头上的山
石头上的山 Lv.2 潜力创作者

Lv.2 潜力创作者

让灵犀给我做的exe小软件,自动采集QQ群里面的链接,经过我多版更新,现在已经稳定运行很久了

用灵犀把"每天的重复机械步骤"做成了一款简单易用信息采集器并上传云文档,全程自动化

做这款工具的初衷很简单:平时工作忙,没有时间去各类资源分享群、尤其是影视类交流群里,每天都有大量网盘链接分享,手动逐条复制整理效率极低。

特别是一些影视群,里面有很多链接分享,相比这些统一收集起来,一个个的复制太麻烦,让灵犀给做了一个自动的收集器,

把 QQ 聊天记录和几十个腾讯频道里的网盘资源,每天自动采集、清洗、验活、汇总,同步到云端在线表格,

具体流程给大家分享一下

这是大致流程

  • 复制 QQ 消息库(WAL 三件套防漏消息)→ 解密 → 提取消息 → 腾讯频道采集器抓取 + 频道(线程并行)→ 去重入库 → 链接整理(年份分类、死活巡检)→ 上传云文档 → 复核与三道托底。

版本演进史(v2.x → v3.9.26)

2.1 早期:从导出到全量重构

  • v2.x 增量链路时代:SQL 层时间增量、本地兜底、无变化跳过——但增量边界问题埋下隐患。

  • v3.0(9月3日):重构为「先本地后云端」全量模式,实测 17.8 万条消息、3.5 万条链接。

  • v3.1:频道采集器并入主流程(6 步变 7 步),独立定时任务停用。

  • v3.2:修复超大写入请求被限流(JSON 解析 8 连败)——每批写入立即读回提交。

  • v3.3:云上传改增量优先,校验失败自动回退全量。

  • v3.4:等号开头文本被当公式的修复(列文本格式转义)。

2.2 中期:性能与体验

  • v3.5:新增数据「最新在上」——全量重建倒序写 + 增量追加后降序排序;期间 insert_rows 顶部插入曾损坏整理链接表,用本地全量重建修复。

  • v3.7(9月4日):并行化改造——频道采集器后台启动、与本地处理并行、上传前汇合;本地链路 162 秒压到 99 秒,云上传批次加大后约 3 分钟。

  • v3.8:exe 化,脱离灵犀独立运行(不耗灵点);为此踩过凭证、sys 引用、排序失效三连坑。

2.3 近期:加固与生态

  • v3.9.19:云端只增备份表(数据丢失自救)。

  • v3.9.23c:五张链接表末列融入「死活状态」(存活/失效/待复核),每日全量巡检 + 历史回刷。

  • v3.9.24 系列:QQ 库 WAL 模式漏最近消息的修复(三件套复制 + 提取层字段加固,多找回 4086 条);夸克验活改纯 HTTP 接口全量检测,只有迅雷还用浏览器配额。

  • v3.9.25 系列(10月24日-30日):外部 AI(DuMate)执行改 A~E 五项修复经我核验;每日统计 A2 校验 bug 修复;安全重建切换阶段加固;QQ AI 目录整体迁移(符号链接保兼容)。

  • v3.9.26(11月2日):频道详情抓取上线——解决「链接要点开帖子才出现」的问题。

三、每日更新 7 步流程

现行流程(每轮自动执行,双轮次 9:30 / 16:30):

  1. 数据库变更检查——按文件修改时间跳过无变化轮次

  1. 复制 QQ 消息库——WAL 三件套(主库 + wal + shm)防漏最近消息

  1. 解密 + 全量提取消息——字段加固与富文本兜底扫描

  1. 频道采集器——49+ 频道多源采集,后台并行启动

  1. 本地写入全部消息 + 每日统计

  1. 整理链接——年份分类、死活全量巡检

  1. 上传云文档 + 备份表追加 + 步骤7复核(云端与本地行数逐表核验)+ 表健康巡检

两处特殊环节:步骤 4.5 的 115 全量/天翼汇总用零丢失安全重建;步骤 7 之前所有并行任务汇合,上传期间绝不并行其他云写入。

下面这个就运行窗口

后面我直接让它后台运行了,直接全程无感

设置了电脑自动启动与灵犀定时校准,双保险

这是修改过程

结语

这个体系教会我最重要的一课:自动化不是「写个脚本跑起来」,而是「让系统在没有你盯着的时候也不说谎」——退出码会骗人、冒烟测试会骗人、交接记录也会骗人,只有对真实数据的复核不会。55 万条消息、9.7 万条链接背后,是十几次真实事故换来的每一道防线。

#我的AI工作助理灵犀

#靠谱AI办公WPS

#AI创想家

#WPS会员日

#靠谱AI办公WPS

#我的职场搭子

#WPS会员有办法

#WPS会员

#WPS年终备战季

#WPS会员有办法

#灵犀

#灵犀高手案例

#灵犀专业版

浏览 99
收藏
2
分享
2 +1
+1
全部评论