MySQL内存表的特性与使用介绍

内存表，就是放在内存中的表，所使用内存的大小可通过My.cnf中的max_heap_table_size指定，如max_heap_table_size=1024M，

内存表与临时表并不相同，临时表也是存放在内存中，临时表最大所需内存需要通过tmp_table_size = 128M设定。当数据超过临时表的最大值设定时，自动转为磁盘表，此时因需要进行IO操作，性能会大大下降，

而内存表不会，内存表满后，会提示数据满错误。

临时表和内存表都可以人工创建，但临时表更多的作用是系统自己创建后，组织数据以提升性能，如子查询，临时表在多个连接之间不能共享。这里只讨论内存表

创建表是，用engine=heap可创建（mysql5.5中已经不支持type，以后都用engine，形成习惯）。

create table test(
	id int unsigned not null auto_increment primary key,
	state char(10),
	type char(20),
	date char(30)
)ENGINE=MEMORY DEFAULT CHARSET=utf8;

内存表的特性

内存表的表定义是存放在磁盘上的，扩展名为.frm，所以重启不会丢失。
内存表的数据是存放在内存中的，所以重启会丢失数据。
内存表使用一个固定的记录长度格式。
内存表不支持BLOB或TEXT列，比如varchar与text字段就不会被支持。
内存表支持AUTO_INCREMENT列和对可包含NULL值的列的索引（网上大多说不支持，这是错误的）。内存表支持大于(>) 小于( <)操作，网上也说不支持。
mysql重启后，主键、自增、索引仍然存在，只是数据丢失。这也是对网上的一些错误文字纠正。
内存表表在所有客户端之间共享（就像其它任何非TEMPORARY表）。
MEMORY存储引擎执行HASH和BTREE索引。你可以通过添加一个如下所示的USING子句为给定的索引指定一个或另一个：

	CREATE TABLE lookup (id INT, INDEX USING HASH (id)) ENGINE = MEMORY;
	CREATE TABLE lookup (id INT, INDEX USING BTREE (id)) ENGINE = MEMORY;

内存表初始化，可以使用--init-file来初始化，避免重启mysql后数据被清空。比如--init-file="/data/mysql/init.sql", init.sql格式为：

在数据库复制时，如果主机当掉，则会在binLog中自动加入delete from [内存表]，将slave的数据也删除掉，以保证两边的数据一致性。
内存表不支持事务。
内存表是表锁，当修改频繁时，性能可能会下降。

内存表的使用

内存表使用哈希散列索引把数据保存在内存中，因此具有极快的速度，适合缓存中小型数据库，但是使用上受到一些限制。

heap 对所有用户的连接是可见的，这使得它非常适合做缓存。
仅适合使用的场合。heap不允许使用xxxTEXT和xxxBLOB数据类型。注：操作符 “<=>” 说明：NULL-safe equal.这个操作符和“=”操作符执行相同的比较操作，不过在两个操作码均为NULL时，其所得值为1而不为NULL，而当一个操作码为NULL时，其所得值为0而不为NULL。
一旦服务器重启，所有heap表数据丢失，但是heap表结构仍然存在，因为heap表结构是存放在实际数据库路径下的，不会自动删除。重启之后，heap将被清空，这时候对heap的查询结果都是空的。
如果heap是复制的某数据表，则复制之后所有主键、索引、自增等格式将不复存在，需要重新添加主键和索引，如果需要的话。
对于重启造成的数据丢失，有以下的解决办法：

在任何查询之前，执行一次简单的查询，判断heap表是否存在数据，如果不存在，则把数据重新写入，或者DROP表重新复制某张表。这需要多做一次查询。不过可以写成include文件，在需要用该heap表的页面随时调用，比较方便。
对于需要该heap表的页面，在该页面第一次且仅在第一次查询该表时，对数据集结果进行判断，如果结果为空，则需要重新写入数据。这样可以节省一次查询。
更好的办法是在mysql每次重新启动时自动写入数据到heap，但是需要配置服务器，过程比较复杂，通用性受到限制。

解决mysql内存表的数据持久性问题

后台服务中往往要根据不同的需要采用不同的数据获取方案。

为了保证系统的高性能，我们一般采取下面2种方案解决

1. Cache

大多数系统都是采用各种Cache 系统来进行数据缓存的，但目前的Cache系统普遍存在的问题是仅提供了简单的数据存储，但不能提供数据组织，计算等逻辑功能。

2. 内存表

多数系统后台DB使用的是Mysql，Mysql提供一种特殊的存储引擎（HEAP），这个即是Mysql的内存表方案。但Mysql内存表不提供数据的持久性能力，DB崩溃，重启后数据即消息，这对于部分业务来说是不可接受的。

下面以一个简单的例子来描述这种方法：

1. 建立内存表：

CREATE TABLE `t_music_list` (
`Fmusic_id` varchar(12) NOT NULL default '',
`Fmusic_name` varchar(64) NOT NULL default '',
`Fstatus` int(11) NOT NULL default '0',
`Ftry_count` int(11) NOT NULL default '0',
`Flisten_count` int(11) NOT NULL default '0',
`Ffee` int(11) NOT NULL default '0',
`Fdesc` varchar(255) NOT NULL default '',
`Fsinger_name` varchar(32) NOT NULL default '',
`Fsinger_gender` varchar(6) NOT NULL default '',
`Fsinger_type` varchar(16) NOT NULL default '',
`Fcopy_right` int(11) NOT NULL default '0',
PRIMARY KEY (`Fmusic_id`),
KEY `Fmusic_name` (`Fmusic_name`,`Flisten_count`)
) ENGINE=HEAP DEFAULT CHARSET=latin1;

---这是一个歌曲库的DB例子，由于需要频繁的查询，修改，以及业务需要进行较复杂的排名搜索等逻辑操作，因此采用了这种机制。

2. 生成快照脚本 --- snapshot_music_list.sh

src_port=3306
user='xxx'
pass='xxx'
FOLD='/data/t_music_list.log'
dstfile='/data/t_music_list.dat'
if [ -f "$dstfile" ] ;
then
        mv $dstfile ${dstfile}_bak
fi
$MYSQL >> ${FOLD} -u${user} -h${src_host} -P${src_port} -p${pass} -f -N <<!
select * from myDB.t_music_list into outfile '${dstfile}';
!
filezize=`du -b $dstfile| awk '{print $1}'`
if [ $filezize -lt 2048 ] ;
then
        echo "Dest file too slow, recover it by backedfile."
        mv ${dstfile}_bak $dstfile
fi

---用crontab 定时执行

*/5 * * * * /usr/local/app/tools/ snapshot_music_list.sh >/dev/null 2>

3. mysql启动时进行数据恢复启动时执行恢复脚本，恢复脚本负责将快照数据重新导入DB

数据恢复脚本 ---initdb.sql

load data infile '/data/t_music_list.dat' into table myDB.t_music_list;

mysql启动配置 --- my.cnf

[mysqld]

init-file = /usr/local/app/tools/initdb.sql

内存表的特性

内存表的使用

解决mysql内存表的数据持久性问题

发表回复 取消回复

发表回复取消回复