【WPS畅聊趴】新的一年给WPS换上新"装备",千万级别数据秒汇总
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
📢分享那些为WPS「提效」的强力装备📢
彩蛋🦄在文中看看谁能发现😮
说说你用WPS表格处理过的最大数据量是多少?1千?2千?1万?10万?还是100万的数据量?
在新的一年里我们挑战一下极限,我们这次处理5000万行数据,你没听错,是5000万行的数据!功能听到这个数字你会疑惑,WPS表格(xlsx)格式的上限不是才100W(单个工作表)行吗?所以我们采用的是csv格式的文件
测试数据
这次我们采用Python脚步生成了一份5000万行的销售数据作为我们的测试文件,这次的文件约5个G的大小,数据量就是5000万行~
实现效果
由于数据一般都用在分析场景,这次我们选定的是一个简单的透视环境,实现为将5000万条数据进行数据透视,实现效果如下
WPS表格
DuckDbQuery函数实现法
函数介绍
如下图所示可以看出DuckDbQuery分别有三个参数,分别为【SQL表达式】、【数据文件】和【数据区域】
=DuckDbQuery(SQL语句,数据文件,数据区域)函数内核
这里看出函数内核为「V1.3.2」,简单说就是它调用的为DuckDB 1.3.2版本了~
实现效果
如下图所示为效果图,可以看出及时是千万级的数据,也能在秒级的时间里输出结果~
| ⭐ | 由于为畅聊帖,今天就不展开了,下面给一个彩蛋,是否还在为JSON格式转换而烦恼?下面给出这个函数的又一特性(虽然这是基于duckdb数据库能力的体现) |
WPS Query实现法
选择以透视表的方式导出,结果触碰到了1048576行的上限了(此处是bug莫非?也可能是因为性能原因做了限制)
为了对比我们搬出了微软的EXCEL的PQ作为对比,可以看出微软对此是没有限制,但是也足足花费了大半个小时才出结果,中途会出现无响应的情况
| 💡 | 看了以上对比是不是发现有了新“装备”加持的WPS强大不是一星半点,新“装备”下的几十秒对比行业大佬的PQ也要40来分钟,性能效率提高肉眼可见~当然以上这么大数量级的数据一般都不会在表格中处理,以上纯属是半娱乐性质的压力测试了~ |
看到新"装备"如此强大,WPS官方会考虑将这个变成自身的能力吗?
大家期待这种「提效」能力的加入吗?
📢说出大家知道强力“装备",后续成为WPS自身的固有能力📢
下一个强大的能力由大家共创
WPS📢:「畅聊趴」也可以有技术干货
| ⭐ | 本贴奖励由【福利官】全力赞助🎁,封面图片由WPS灵犀全力生成🐬 |
创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS产品体验官
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS寻令官
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS产品体验官
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS寻令官
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员
WPS金话筒 | WPS寻令官 | 创作者俱乐部成员