IT技术互动交流平台

centosamoeba+mysql主从集群分离

来源:IT165收集  发布日期:2015-01-26 21:38:12
原文来自:http://blog.163.com/na_llong/blog/static/113541609201352123232528/

配置主从之前最好不要填写同步的数据库,默认都同步所有数据库就行。
mysql 本机自带的,java 本机自带的。 1、登录Master服务器,修改my.cnf,添加如下内容;
server-id = 1 //数据库ID号, 为1时表示为Master,其中master_id必须为1到232–1之间的一个正整数值;
log-bin=mysql-bin //启用二进制日志;
binlog-do-db=data //需要同步的二进制数据库名; (最好不要写,默认就同步所有数据库了)
log=/usr/local/log/mysql.log 日志位置。需要创建目录和改变权限chmod、chown命令
{上边配置主库已经够用了,下边我列出一些东西可以根据自己需要添加
default-storage-engine=innodb –默认的存储引擎,现在Mysql的主打存储引擎
innodb_data_home_dir =/data –innodb的数据家目录
innodb_data_file_path =ibdata1:50M:autoextend –innodb的数据存储文件,当写绝对路径时,innodb_data_home_dir要为空,这样可以指定多个存储文件,使用分号隔开
server-id = 1 –mysql服务器的id号:(1-2^32),id号越小优先级越高
log-bin = /dblog/mysqld-bin –二进制日志
max-binlog-size = 10M –mysqlbinlog的单个文件最大是10M
expire_logs_days = 10 –日志最大存储日期
#logs
slow_query_log = /dblog/slow.log –慢日志,在生产环境一定要记得开启
long_query_time = 2 –定义超过2秒的查询属于慢查询
log-queries-not-using-indexes=1
log-error = /dblog/mysqld.err –错误日志

查询日志不要开,因数据大,影响I/O,排错才使用。
log-bin:每次重启Mysql都会产生一个新的文件

# mkdir /data –建立数据存放目录
# mkdir /dblog –建立日志存放目录
# chmod 700 /data/ /dblog –修改权限
# chown mysql.mysql /data /dblog/ -R
# mysql_install_db –datadir=/data –user=mysql –进行初始化
# service mysql start –启动服务,如出现找不到PID,请检查selinux,iptables是否开启
}

2、建立复制所要使用的用户;
(先说登录,登录不进去就没法授权和建立用户) 本机自带的mysql 登录 第一次没有密码 为空 直接登录就可以
设置密码的命令如下:mysqladmin -uroot -p(旧密码,没有就不写) password 新密码 然后回车
会提示输入密码,不用输入密码,直接回车就可以了,密码就设置了。
建立复制用户命令 mysql>grant replication slave on *.* to 'slave'@'%' IDENTIFIED BY '888888'
3、重启mysql;
service mysqld restart
4 、(如果同步的主库有数据,则需要备份,没有则略过这一步)现在备份Master上的数据;
锁定后我直接tar.gz data这个库文件;
mysql>FLUSH TABLES WITH READ LOCK;
cd /var/lib/mysql
tar data.tar.gz data
接着直接执行了远程scp;
scp ./data.tar.gz root@ip地址:/var/lib/mysql
主库解锁命令是 mysql>unlock tables;

5、授权以后,查看主库状态,
登录mysql 授予登录权限,给远程ip赋予登录权限mysql>grant all privileges on *.* to 'root'@'%'identified by '888888'with grant option;单独给IP赋予远程管理权限是mysql>grant all privileges on *.* to 'root'@'远程的ip'identified by '888888'with grant option;给本地赋予权限是 grant
all privileges on *.* to 'root'@'localhost' identified by 'root' with grant option)
查看状态:mysql>show master statusG
记录pos和第一个文件名称。从库同步需要用(同第9步一样)
查看了主库状态,就不要在主库上做任何操作,否则file拦文件会改变。
6 slave 设置
登录Slave数据库服务器,修改my.cnf;
server-id = 3 //2已经被用在另一个服务器上了,如果以后要再加Slave号接着往后数就OK了;
log-bin=mysql-bin
master-host = 主库ip
master-user = slave
master-password = 888888
master-port = 3306
master-connect-retry=60 //如果发现主服务器断线,重新连接的时间差;
replicate-do-db=data //需要备份的数据库
7 解压刚才从Master scp过来的文件,此处不用改权限、属主,默认没有改变,可以根据实际情况进行修改;

8、上述完成后,可以启动slave了;查看slave状态;
mysql>slave start;
mysql>show slave statusG
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.0.1
Master_User: test
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: updatelog.000001
Read_Master_Log_Pos: 106
Relay_Log_File: onlinevc-relay-bin.000013
Relay_Log_Pos: 1069
Relay_Master_Log_File: updatelog.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: data
Replicate_Ignore_DB: mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 106
Relay_Log_Space: 1681
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
1 row in set (0.00 sec)
9、查看Master上面的状态;
mysql> show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| updatelog.000012 | 15016 | data | mysql |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)
由此可见两者的File、Position存在问题,所要要去Slave上设置对应主库的Master_Log_File、Read_Master_Log_Pos;执行如下语句;
mysql>slave stop;
mysql>CHANGE MASTER TO MASTER_HOST='主库ip',MASTER_USER='slave', MASTER_PASSWORD='******',MASTER_LOG_FILE='updatelog.000012',MASTER_LOG_POS=15016;
确保 Slave_IO_Running: Yes 、Slave_SQL_Running: Yes都要为YES才能证明Slave的I/O和SQL进行正常

10、在这期间登录mysql经常会用到一些语句,我写下来。
show databases;
show tables;
create database 库明
create table 表明(id int, name varchar(100));
insert into values(a,tom)
create table 表明(id int)
insert into 表明 values(1)
drop table 表明
delete from user where user='删除用户'
select * from user,host from user; 查看用户和登录权限的
use 库明

MySQL插入100万条记录测试 存储过程

BEGIN
#Routine body goes here...
DECLARE i INT DEFAULT 0;

WHILE i < 1000000 DO

INSERT INTO test values(i, concat('zhangsan',i));
SET i = i + 1;
END WHILE;

END
 

装amoeba之前,要把amoeba连接数据库的用户名和密码一定要授权,命令如下:
建立amoeab用户赋予权限命令:grant all on *.* to 'amoebauser'@'%'identified by 'amoebapassword'
注:在mysql主库上边授权.

10、Amoeba的安装
Amoeba下载地址:http://sourceforge.net/projects/amoeba/
mkdir /usr/local/amoeba
wget http://softlayer.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.x/amoeba-mysql-binary-2.1.0-RC5.tar.gz

tar xzf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba

配置全局环境变量

vi /etc/profile
export PATH=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/bin:$PATH
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/
export AMOEBA_HOME=/usr/local/amoeba
export PATH=/usr/local/amoeba/bin:$PATH
说一下java的变量,可以用which java 和whereis java去查找,找不到就用 find / -name java 查找,不要被连接文件糊弄了。要看清楚。
我这里就用 find / -name java 查找的。

然后 让环境变量生效
source /etc/profile

 

11、Amoeba for mysql配置

配置Amoeba for mysql的读写分离主要涉及两个文件:
1、/usr/local/amoeba/conf/dbServers.xml
此文件定义由Amoeba代理的数据库如何连接,比如最基础的:主机IP、端口、Amoeba使用的用户名和密码等等。
2、/usr/local/amoeba/conf/amoeba.xml
此文件定义了Amoeba代理的相关配置。

dbServers.xml文件配置

abstractServer配置:

  1. <dbServer name="abstractServer" abstractive="true">
  2. <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
  3. <property name="manager">${defaultManager}</property>
  4. <property name="sendBufferSize">64</property>
  5. <property name="receiveBufferSize">128</property>
  6.  
  7. <!-- mysql port -->
  8. <property name="port">3306</property>
  9.  
  10. <!-- mysql schema -->
  11. <property name="schema">dbname</property>
  12.  
  13. <!-- mysql user -->
  14. <property name="user">root</property>
  15.  
  16. <!-- mysql password -->
  17. <property name="password">root</property>
  18.  
  19. </factoryConfig>
  20.  
  21. <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
  22. <property name="maxActive">500</property>
  23. <property name="maxIdle">500</property>
  24. <property name="minIdle">10</property>
  25. <property name="minEvictableIdleTimeMillis">600000</property>
  26. <property name="timeBetweenEvictionRunsMillis">600000</property>
  27. <property name="testOnBorrow">true</property>
  28. <property name="testWhileIdle">true</property>
  29. </poolConfig>
  30. </dbServer>

    此部分定义真实mysql服务器的端口,数据库名称,mysql用户及密码。
    主从数据库定义:

    1. <dbServer name="Master" parent="abstractServer">
    2. <factoryConfig>
    3. <!-- mysql ip -->
    4. <property name="ipAddress">192.168.0.1</property>
    5. </factoryConfig>
    6. </dbServer>
    7. <dbServer name="Slave1" parent="abstractServer">
    8. <factoryConfig>
    9. <!-- mysql ip -->
    10. <property name="ipAddress">192.168.0.2</property>
    11. </factoryConfig>
    12. </dbServer>
    13. <dbServer name="Slave2" parent="abstractServer">
    14. <factoryConfig>
    15. <!-- mysql ip -->
    16. <property name="ipAddress">192.168.0.3</property>
    17. </factoryConfig>
    18. </dbServer>
    19. <dbServer name="virtualSlave" virtual="true">
    20. <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
    21. <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
    22. <property name="loadbalance">1</property>
    23.  
    24. <!-- Separated by commas,such as: server1,server2,server1 -->
    25. <property name="poolNames">Slave1,Slave2</property>
    26. </poolConfig>
    27. </dbServer>

      此部分定义主服务器,从服务器,及从服务器连接池。这里只定义数据库地址,它们的用户及密码就是上面的abstractServer里的设置。注意用来连接真实mysql服务器的用户必须拥有远程连接权限。

      amoeba.xml配置

      amoeba连接验证配置:

      1. <property name="authenticator">
      2. <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
      3.  
      4. <property name="user">root</property>
      5.  
      6. <property name="password">root</property>
      7.  
      8. <property name="filter">
      9. <bean class="com.meidusa.amoeba.server.IPAccessController">
      10. <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
      11. </bean>
      12. </property>
      13. </bean>
      14. </property>

        这里定义连接amoeba时用来验证的用户及密码。
        读写分离配置:

        1. <property name="defaultPool">Master</property>
        2. <property name="writePool">Master</property>
        3. <property name="readPool">virtualSlave</property>

          defaultPool:配置了默认的数据库节点,一些除了SELECTUPDATEINSERTDELETE的语句都会在defaultPool执行。
          writePool :配置了数据库写库,通常配为Master,如这里就配置为之前定义的Master数据库。
          readPool :配置了数据库读库,通常配为Slave或者Slave组成的数据库池,如这里就配置之前的virtualSlave数据库池。

          amoeba启动

          启动命令:

          1. amoeba start (前台启动可以查看报错信息

             

            执行:/usr/local/amoeba/bin/amoeba可能会遇到以下错误:
            The stack size specified is too small, Specify at least 160k Could not create the Java virtual machine.

            修改 amoeba 文件,vi /usr/local/amoeba/bin/amoeba,找到如下的文件:
            DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"
            将其修改为:
            DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k

            再次执行/usr/local/amoeba/bin/amoeba,如果出现amoeba start|stop 就可以启动amoeba了
            # /usr/local/amoeba/bin/amoeba start

            此命令以前台的方式启动,会输出启动时的信息,检查没有错误信息后,中断,并后台运行:

            1. nohup amoeba start &(后台启动命令)

               

              进行mysql操作的时候查看nohup日志发现Could not create a validated object, cause: ValidateObject failed

              无法连接,主要可能是:

              dbServer.xml中的数据库密码配置 是否出错

              数据库名称是否出错 scheme

              还有一些错误我列出来,

              比如 我想把mysql从库改为主库,这时候你更改完所有配置文件,你在主库上边mysql> show master status查看时候,可以看到以前打的连接状态,怎么办?

              需要登录mysql 执行以前命令
              mysql> slave stop;

              mysql>change master to master_host=' '; 就可以了

              mysql 主从集群做好了后,这时候一不小心从主库上删掉一个数据库数据,从库没有这个数据库,这时候 Slave_SQL_Running: NO,会变成NO,解决方法有两种如下

              记录File和Position对应的值。

              mysql> show master status;
              +------------------+-----------+--------------+------------------+
              | File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
              +------------------+-----------+--------------+------------------+
              | mysql-bin.000013 | 330748356| | |
              +------------------+-----------+--------------+------------------+
              1 row in set (0.00 sec)

              到slave服务器上执行手动同步:
              mysql> slave stop;
              mysql> change master to
              > master_log_file='mysql-bin.000013',
              > master_log_pos=330748356;
              1 row in set (0.00 sec)
              mysql> slave start;
              1 row in set (0.00 sec)
              再次查看slave状态发现:
              Slave_IO_Running: Yes
              Slave_SQL_Running: Yes
              ...
              Seconds_Behind_Master: 0
              解决办法二:
              mysql> slave stop;
              mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
              mysql> slave start;

Tag标签: 主从   集群  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规