Mycat(4):消息表mysql数据库分表实践

来源:IT165收集  发布日期:2015-07-22 22:11:48

1,业务需求

比如一个社交软件,比如像腾讯的qq。可以进行群聊天(gid),也可以单人聊天。
这里面使用到了数据库中间件mycat,和mysql数据表分区。
关于mycat分区参考:
【 数据库垂直拆分,水平拆分利器,cobar升级版mycat】
http://blog.csdn.net/freewebsys/article/details/44046365

2,具体方案设置分区

利用mysql分区,假设mysql数据表简单的为:

CREATE TABLE `group_msg` (
  `id` bigint(20) NOT NULL,
  `gid` bigint(20) DEFAULT NULL COMMENT '',
  `content` varchar(4000),
  `create_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`,`gid`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8
PARTITION BY KEY(`gid`) 
PARTITIONS 100;

数据表中按照gid进行分区,id不是自增,而是使用全局变量生成的。
在mycat中带全局变量生成的函数。这里有个技巧,按照每一个群组做一个全局的id,每个群组的消息都是从1开始。这样每个群组的id就是聊天信息的总数,方便分页查询历史记录使用。历史记录表后面继续分析。

参考:http://dev.mysql.com/doc/refman/5.1/en/partitioning-limitations.html

分区表可以设置的大些,因为数据放在本地切分成多个文件成本比较低。

3,配置mycat分表

由于mycat配置分表是按照分库进行的。所有需要创建多个数据库。
比起表分区是麻烦点。
参考之前博客:
【Mycat 水平分表,垂直分表实践(2)】博客数据表拆分和全局id
http://blog.csdn.net/freewebsys/article/details/44399901
其中规则xml的配置如下:

<!DOCTYPE mycat:rule SYSTEM 'rule.dtd'>
<mycat:rule xmlns:mycat='http://org.opencloudb/'>
    <!--article 分区配置,按照id进行模10,如果拆分成20个库模20。-->
    <tableRule name='mod-long'>
        <rule>
            <columns>user_id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
    <function name='mod-long' 
    class='org.opencloudb.route.function.PartitionByMod'>
        <property name='count'>10</property>
    </function>

</mycat:rule>

分区schema配置文件:

<?xml version='1.0'?>
<!DOCTYPE mycat:schema SYSTEM 'schema.dtd'>

        <schema name='mycat' checkSQLschema='false' sqlMaxLimit='100'>
                <table name='MYCAT_SEQUENCE' primaryKey='name' type='global' dataNode='nodeUser' />
        </schema>

        <schema name='group_msg' checkSQLschema='false' sqlMaxLimit='100'>
            <table name='group_msg' primaryKey='gid' dataNode='nodeGroupMsg01,nodeGroupMsg02,nodeGroupMsg03,nodeGroupMsg04,nodeGroupMsg05,nodeGroupMsg06,nodeGroupMsg07,nodeGroupMsg08,nodeGroupMsg09,nodeGroupMsg10' rule='mod-long' />
        </schema>

        <!--拆分成5 组机器,每个机器上面两个数据库。如果压力大,直接拆分成10个机器,再多拆成20个库。-->
        <dataNode name='nodeGroupMsg01' dataHost='dataHost01' database='group_msg_01' />
        <dataNode name='nodeGroupMsg02' dataHost='dataHost01' database='group_msg_02' />

        <dataNode name='nodeGroupMsg03' dataHost='dataHost02' database='group_msg_03' />
        <dataNode name='nodeGroupMsg04' dataHost='dataHost02' database='group_msg_04' />

        <dataNode name='nodeGroupMsg05' dataHost='dataHost03' database='group_msg_05' />
        <dataNode name='nodeGroupMsg06' dataHost='dataHost03' database='group_msg_06' />

        <dataNode name='nodeGroupMsg07' dataHost='dataHost04' database='group_msg_07' />
        <dataNode name='nodeGroupMsg08' dataHost='dataHost04' database='group_msg_08' />

        <dataNode name='nodeGroupMsg09' dataHost='dataHost05' database='group_msg_09' />
        <dataNode name='nodeGroupMsg10' dataHost='dataHost05' database='group_msg_10' />

        <dataHost name='dataHost01' maxCon='1000' minCon='10' balance='0'
                writeType='0' dbType='mysql' dbDriver='native'>
                <heartbeat>select 1</heartbeat>
                <writeHost host='hostM1' url='192.168.100.1:3306' user='root' password='root'/>
        </dataHost>

        <dataHost name='dataHost02' maxCon='1000' minCon='10' balance='0'
                writeType='0' dbType='mysql' dbDriver='native'>
                <heartbeat>select 1</heartbeat>
                <writeHost host='hostM1' url='192.168.100.2:3306' user='root' password='root'/>
        </dataHost>

        <dataHost name='dataHost03' maxCon='1000' minCon='10' balance='0'
                writeType='0' dbType='mysql' dbDriver='native'>
                <heartbeat>select 1</heartbeat>
                <writeHost host='hostM1' url='192.168.100.3:3306' user='root' password='root'/>
        </dataHost>

        <dataHost name='dataHost04' maxCon='1000' minCon='10' balance='0'
                writeType='0' dbType='mysql' dbDriver='native'>
                <heartbeat>select 1</heartbeat>
                <writeHost host='hostM1' url='192.168.100.4:3306' user='root' password='root'/>
        </dataHost>

        <dataHost name='dataHost05' maxCon='1000' minCon='10' balance='0'
                writeType='0' dbType='mysql' dbDriver='native'>
                <heartbeat>select 1</heartbeat>
                <writeHost host='hostM1' url='192.168.100.5:3306' user='root' password='root'/>
        </dataHost>

</mycat:schema>

考虑按照数据库拆分成本比较高,直接拆分成10个数据库,分别放到5个机器上面。如果压力大可以直接放到10个机器上面。

实际上表分区加上mycat,一个拆了100*10个文件。按照每个文件能承载1000w条记录算,可以承受100亿数据。
这个当然是理论了。假设日活100w,每人发10条,基本上够2-3年使用的了。

4,总结

本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/46882777 未经博主允许不得转载。

这个只是消息表的一个简单的设计方案。通过使用成熟的组件搭建的分表方案。同时利用了mysql分区和mycat分表两个结合下。
毕竟一个mysql物理机器不能分太多文件,两个结合起来效率就高了。达到一个运维成本低,毕竟线上mysql数据库要配置master-slave,拆的多维护的多。

 

Tag标签: 分表   消息   数据库  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规