亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python批量刪除mysql中千萬級大量數據

系統 2060 0

場景描述

線上 mysql 數據庫里面有張表保存有每天的統計結果,每天有1千多萬條,這是我們意想不到的,統計結果咋有這么多。運維找過來,磁盤占了 200G ,最后問了運營,可以只保留最近3天的,前面的數據,只能刪了。刪,怎么刪?
因為這是線上數據庫,里面存放有很多其它數據表,如果直接刪除這張表的數據,肯定不行,可能會對其它表有影響。嘗試每次只刪除一天的數據,還是卡頓的厲害,沒辦法,寫個Python腳本批量刪除吧。
具體思路是:

  1. 每次只刪除一天的數據;
  2. 刪除一天的數據,每次刪除50000條;
  3. 一天的數據刪除完,開始刪除下一天的數據;

Python代碼

          
            # -*-coding:utf-8 -*-

import sys

# 這是我們內部封裝的Python Module
sys.path.append('/var/lib/hadoop-hdfs/scripts/python_module2')
import keguang.commons as commons
import keguang.timedef as timedef
import keguang.sql.mysqlclient as mysql


def run(starttime, endtime, regx):
    tb_name = 'statistic_ad_image_final_count'
    days = timedef.getDays(starttime,endtime,regx)
    # 遍歷刪除所有天的數據
    for day in days:
        print '%s 數據刪除開始'%(day)
        mclient = getConn()
        sql = '''
        select 1 from %s where date = '%s' limit 1
        '''%(tb_name, day)
        print sql
        result = mclient.query(sql)
        # 如果查詢到了這一天的數據,繼續刪除
        while result is not ():
            sql = 'delete from %s where date = "%s" limit 50000'%(tb_name, day)
            print sql
            mclient.execute(sql)
            sql = '''
            select 1 from %s where date = '%s' limit 1
            '''%(tb_name, day)
            print sql
            result = mclient.query(sql)
        print '%s 數據刪除完成'%(day)
        mclient.close()


# 返回mysql 連接
def getConn():
    return mysql.MysqlClient(host = '0.0.0.0', user = 'test', passwd = 'test', db= 'statistic')

if __name__ == '__main__':
    regx = '%Y-%m-%d'
    yesday = timedef.getYes(regx, -1)
    starttime = '2019-08-17'
    endtime ='2019-08-30'
    run(starttime, endtime, regx)
          
        

循環判斷數據,如果有,繼續刪除當天 50000 條數據;否則,開始刪除下一天的數據。花了半個小時,終于刪除完了。


歡迎關注我的微信公眾號
Python批量刪除mysql中千萬級大量數據_第1張圖片


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 亚洲欧美日韩国产精品一区 | 中文字幕一区视频 | 日本一区二区三区欧美在线观看 | 国产精品k| 欧美激情视频一区 | 日韩国产欧美视频 | 免费一级毛片免费播放 | 久久久久久久国产 | 中文字幕日本一区波多野不卡 | 黄色小视频在线免费观看 | 露脸超嫩97后在线播放 | 久久99热精品免费观看无卡顿 | 天天射日日干 | 99久久免费观看 | 一级毛片真人免费观看 | 亚洲性另类 | 99热精品国产三级在线观看 | 性欧美高清videosex | 91亚洲成人 | 日本不卡在线 | 久久精品国产国语对白 | 特黄特级a级黄毛片免费观看多人 | 中文字幕99 | 日韩精品一区二区三区国语自制 | 婷婷激情在线 | 老司机午夜精品视频在线观看免费 | 国产成人综合久久精品红 | 久热视线观看免费视频 | 国产精品成人h片在线 | 亚洲欧美日韩专区 | 亚洲精品国产第一区第二区国 | 天天在线欧美精品免费看 | 欧美日韩一区二区亚洲 | 神马视频我不卡 | 免费一级毛片不卡在线播放 | 欧美不卡精品中文字幕日韩 | 久久96精品国产 | 嘿咻成人免费视频欧美激情 | 精品国产一区二区三区不卡在线 | 国产大陆亚洲精品国产 | 国产亚洲一级精品久久 |