al文章伪原创,ai文章伪原创
DouJia 2023-06-26 20:34 205 浏览
之前文章 一张5亿数据量的表执行不ai文章伪原创了ai文章伪原创,开发和DBA差点大打出手…… 发了之后ai文章伪原创,有好几个小伙伴来问ai文章伪原创我 SQL 是怎么拆的。
这篇我们来简单盘下,其实拆 SQL 是因为涉及大表删除的问题。
比如,ai文章伪原创你现在需要删除一张一共有 5 亿数据的表里面的 2021 年数据,假设这张表叫 yes。
我相信你脑子在 1s 内肯定会蹦出这条 SQL :
delete from yes where create_date > "2020-12-31" and create_date < "2022-01-01";
如果直接执行这条 SQL 会发生什么问题呢?
长事务
我们需要关注到一个前提:这张表有 5 亿的数据,所以它是一张超大表,因此这个 where 条件可能涉及非常多的数据,所以我们可以从离线数仓或者备库查下数据量,然后我们发现这条 SQL 会删除 3 亿左右的数据。
那么一次性 delete 完的方案是不行的,因为这会涉及到长事务的问题。
长事务涉及到加锁,只会在事务执行完毕后才会释放锁,由于长事务锁了很多数据,如果期间有频繁的 DML 想要操作这些数据,那么就会造成阻塞。
连接都阻塞住了,业务线程自然就阻塞了,也就是说你的服务线程都在等待数据库的响应,然后可能还会影响到别的服务,可能产生雪崩,于是就 GG 了。
长事务可能会造成主从延迟,你想想主库执行了好久,才执行完给从库,从库又要重放好久,期间可能有很长一段时间数据是不同步的。
还有一种情况,业务都有个特殊停机窗口,你觉得你可以为所欲为,然后开始执行长事务了,然后执行了 5 小时之后,不知道啥情况抛错了,事务回滚了,于是浪费了 5 个小时,还得重新开始。
综上,我们需要避免长事务的发生。
那面对可能发生长事务的 SQL 我们怎么拆呢?
拆 SQL
我们就以上面这条 SQL 为例:
delete from yes where create_date > "2020-12-31" and create_date < "2022-01-01";
看到这条 SQL,如果要拆分,想必很多小伙伴会觉得很简单,按日期拆不就完事了?
delete from yes where create_date > "2020-12-31" and create_date < "2021-02-01";
delete from yes where create_date >= "2021-02-01" and create_date < "2021-03-01";
......
这当然可以,恭喜你,你已经拆分成功了,没错就这么简单。
但是,如果 create_date 没有索引怎么办?
没索引的话,上面这就全表扫描了啊?
影响不大,没有索引我们就给他创造索引条件,这个条件就是主键。
我们直接一个 select min(id)... 和 select max(id).... 得到这张表的主键最小值和最大值,假设答案是233333333 和 666666666。
然后我们就可以开始操作了:
delete from yes where (id >= 233333333 and id < 233433333) and create_date > "2020-12-31" and create_date < "2022-01-01";
delete from yes where (id >= 233433333 and id <233533333) and create_date > "2020-12-31" and create_date < "2022-01-01";
......
delete from yes where (id >= 666566666 and id <=666666666) and create_date > "2020-12-31" and create_date < "2022-01-01";
当然你也可以再精确些,通过日期筛选来得到 maxId,这影响不大(不满足条件的 SQL 执行很快,不会耗费很多时间)。
这样一来 SQL 就满足了分批的操作,且用得上索引。
如果哪条语句执行出错,只会回滚小部分数据,我们重新排查下就好了,影响不大。
而且拆分 SQL 之后还可以并行提高执行效率。
当然我之前的文章说过,并行可能有锁竞争的情况,导致个别语句等待超时。不过影响不大,只要机器状态好,执行的快,因为锁竞争导致的等待并不一定会超时,如果个别 SQL 超时的话,重新执行就好了。
有时候要转换思路
关于大表删除有时候要转换思路,把删除转成插入。
假设还是有一张 5 亿的数据表,此时你需要删除里面 4.8 亿的数据,那这时候就不要想着删除了,要想着插入。
道理很简单,删除 4.8 亿的数据,不如把要的 2000W 插入到新表中,我们后面业务直接用新表就好了。
这两个数据量对比,时间效率差异不言而喻了吧?
具体操作也简单:
创建一张新表,名为 yes_temp
将 yes 表的 2000W 数据 select into 到 yes_temp 中
将 yes 表 rename 成 yes_233
将 yes_temp 表 rename 成 yes
狸猫换太子,大功告成啦!
之前有个记录表我们就是这样操作的,就 select into 近一个月的数据到新表中,以前老数据就不管了,然后 rename 一下,执行的非常快。
本来预估 2 小时的 SQL 操作,1 分钟就搞定了。
这种类似的操作是有工具的,比如 pt-online-schema-change 等,不过我没用过,有兴趣的小伙伴可以自己去看看,道理是一样的,多了几个触发器,这里不多赘述了。
开发还是得多学一些数据库的操作和原理,因为好多数据库的操作都需要你亲力亲为,小公司没 DBA 的话就不说了,大公司的话咱也不知道 DBA 到底会关心到哪个程度,还是得靠自己靠谱。
作者丨是Yes呀
来源丨公众号:yes的练级攻略(ID:yes_java)
dbaplus社群欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn
关于我们
dbaplus社群是围绕Database、BigData、AIOps的企业级专业社群。资深大咖、技术干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙,每季度Gdevops&DAMS行业大会。
关注公众号【dbaplus社群】,获取更多原创技术文章和精选工具下载
- 上一篇:极智写作(极智写作社官网)
- 下一篇:ai文章写作,ai文章写作训练算法
相关推荐
- 搜狗输入法智能帮写(搜狗输入法智能帮写怎么设置)
-
手写稿怎么扫描成电子版搜狗输入法智能帮写?为了更好地管理和保存我们的文档搜狗输入法智能帮写,不管是手写还是印刷的纸质文档,转换成电子版无疑是一种好的办法,这样也方便我们对文件进行归类整理。如果我们的手...
-
- ai写论文的网站推荐,ai写论文的网站
-
可以下载一款iOS平台ai写论文的网站的AI文案宝这款软件ai写论文的网站,这款软件功能非常齐全ai写论文的网站,写文章,写论文,写周报,写营销文章,爆款文案,...
-
2023-11-01 04:30 DouJia
-
- 文案智能ai改写工具,文案改写神器免费
-
随着AI技术文案智能ai改写工具的不断发展和普及文案智能ai改写工具,越来越多文案智能ai改写工具的企业开始尝试使用AI写营销文案。其中,搭画快写AI平台是一款...
-
2023-11-01 02:30 DouJia
-
- 文案生成器免费(广告文案生成器免费)
-
1、豆拍文案设计助手文章生成器软件还可以帮用户自动免费的过滤掉各种敏感的词汇大家快来下载豆拍文案设计助手app豆拍文案设计助手评价立即下载3印章生成器印章生成器...
-
2023-10-31 22:30 DouJia
-
- 英语作文生成器,自动英语作文生成器
-
此前科大讯飞的最高价旗舰学习机为2021年推出的T10英语作文生成器,定价6999元。科大讯飞董事长刘庆峰曾在当时强调,T10开启了“人工智能学习机的全新时代”...
-
2023-10-31 20:30 DouJia
-
- 中国诗词自动生成器,诗词自动生成器在线生成
-
1、有练字大师这是一款可以自动生成字帖的软件中国诗词自动生成器,该软件支持生成行书楷书钢笔等首先打开字帖在线生成小程序主界面中国诗词自动生成器,点击进入其次在字...
-
2023-10-31 16:30 DouJia
-
- 搜狗ai写作助手app下载,搜狗ai写作助手
-
1、在应用程序里面,搜索就可以下载安装搜狗ai写作助手了1在输入界面,点击输入框,在弹出搜狗ai写作助手的输入法中开启ai写作助手2选择ai帮写3按照提示写一些...
-
2023-10-31 14:30 DouJia
-
- 百度写作ai,百度写作ai在哪
-
AI写作·无需文学造诣百度写作ai,轻松创作·AI写作宝可在线进行AI写作点击按钮进入AI写作界面提供多种写作类型可设置文章内容生成类型文章长度可对内...
-
2023-10-31 12:30 DouJia
-
- 网络小说生成器手机版(网络小说生成器手机版下载)
-
在数字时代的今天网络小说生成器手机版,我们的生活方式正在发生翻天覆地的变化。其中,一项引人瞩目的技术就是ai写作。这个技术让我们不再局限于纸笔,也不必绞尽脑汁去...
-
2023-10-31 10:30 DouJia
-
- ai免费版如何下载,ai免费软件安装
-
1如图,在打开ai免费软件安装的页面左上角找到IllustratorCC2019,右键,选择压缩解压,然后在打开的二级菜单中,点击提取到“Illustrat...
-
2023-10-31 08:30 DouJia
-
- aii文章生成器,aii文章生成器生成文章复制到哪里了
-
3AII文章生成器这是一款免费的AI智能文章生成平台,输入关键词,可以一键自动生成相关的文章最大的优点,就是免费aii文章生成器!4阿里妈;天辰伪原创天辰A...
-
2023-10-31 06:30 DouJia
-
- jasperai写作,jasper studio教程
-
1、jasperaiCopyai优化拷贝采的文章或博客是一款AI文本生成工具,能够在线生成各种类型的文字内容,包括文章邮件产品描述社交媒体标签文章标题等平...
-
2023-10-31 02:30 DouJia
-
- 百度热搜
- 新浪热搜
- 1 领导干部要扑下身子深入群众
- 2 亚冬会遭美国等地网络攻击超27万次
- 3 热 中方将反制美国所谓对等关税
- 4 我国将多措并举减轻企业负担
- 5 3名菲律宾间谍落网 相貌曝光
- 6 热 于东来质问永辉店月赚200万不涨工资
- 7 热 特朗普宣布国家紧急状态
- 8 热 68岁退休厅官被查 曾是网红官员
- 9 金价再起飞
- 10 热 22岁女骑手车祸去世 家属寻目击者
- 最新抖音
-
抖音名字男有内涵的:虚拟世界的个性展现,抖音名字男有内涵的话语
在数字化时代的浪潮下,抖音作为一款风靡全球的短视频平台,不仅为用户提供了娱乐和创作的空间,同时也成为...
抖音名字男霸气沉稳:打造独特个性的数字身份,抖音名字男霸气沉稳古代
在这个信息爆炸的时代,抖音作为一款风靡全球的短视频社交平台,已经成为了许多人展示自我、分享生活的重要...
抖音启动音乐计划:激发创意与连接全球音乐人,抖音音乐计划进行全新升级了吗
随着社交媒体平台的蓬勃发展,抖音(TikTok的中国版本)已经成为全球范围内年轻人展示自我和发现新音...
抖音国际版tiktok安卓版下载(抖音国际版tiktok安卓版下载免拔卡)
1、您好抖音国际版tiktok安卓版下载,根据您抖音国际版tiktok安卓版下载的问题,抖音国际版t...
抖音外卖团购榜(抖音里团购餐饮在哪找)
1、1首先先打卡手机主界面进入,点击桌面上抖音外卖团购榜的抖音软件进入2其次在抖音软件上找到支持团购...
抖音进军外卖市场:全国服务上线引发行业关注,抖音进军外卖
随着互联网技术的快速发展,抖音这个以短视频内容为主的社交平台已经深入人心。最近,抖音宣布将上线全国外...
抖音国际下载版:全球短视频新潮流,抖音国际版下载安卓版
随着移动互联网的蓬勃发展,短视频应用如雨后春笋般涌现,而抖音国际下载版无疑成为了全球用户的新宠。作为...
探索抖音国际版TikTok:免费下载与全球影响,抖音国际版tiktok v9.5.3下载
在数字时代,社交媒体平台已成为人们交流、分享和娱乐的重要工具。抖音国际版,即TikTok,无疑是当今...
- 最新快手
-
快手app正版下载(快手正式版下载)
简评:上线领取5000钻快手app正版下载,百万金币。传奇二代挂机变态版游戏简介 传奇...
快手小游戏怎么添加到桌面,快手小游戏怎么添加到桌面显示
相信各位都遇到过手机软件闪退的问题快手小游戏怎么添加到桌面,安卓手机以及苹果6代以下尤为明显,下...
快手极速版官方下载安装,快手极速版下载安装官方下载
应用商店中快手极速版官方下载安装的应用程序都经过认证,相对安全可靠2直接从官方网站下载打开您的网...
关于快手极速版下载2024年最新版免费安装斗地主的信息
这是个苹果下载app试用快手极速版下载2024年最新版免费安装斗地主的软件,快手极速版下载2024年...
快手小游戏推广项目,快手小游戏推广怎么弄
有些企业老板,很是不明白,网站策划是干什么的,为什么要网站策划? Tony老师告诉您,网站策划...
快手极速版下载怎么领现金,快手极速版下载领现金免费领红包操作步骤
1如果快手极速版下载怎么领现金我们想完成金币快手极速版下载怎么领现金的支取,首先进入快手的个人中心界...
快手怎么删除自己的作品不掉赞(快手怎么删除自己的作品不掉赞了)
1首先打开快手快手怎么删除自己的作品不掉赞,点击右下角选择要删除的作品2然后在视频播放页面,点击右侧...
国外版快手叫什么名字,外国快手app下载
1打开手机应用商店,如苹果手机的AppStore或安卓手机的GooglePlay商店2在搜索栏中输入...
- 热门关注