MySQL快速插入一亿测试数据
16lz
2021-12-10
1、建表
1.1 建立测试表 t_user
CREATE TABLE `t_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c_user_id` varchar(36) NOT NULL DEFAULT '' COMMENT '用户Id', `c_name` varchar(22) NOT NULL DEFAULT '' COMMENT '用户名', `c_province_id` int(11) NOT NULL COMMENT '省份Id', `c_city_id` int(11) NOT NULL COMMENT '城市Id', `create_time` datetime NOT NULL COMMENT '创建时间', PRIMARY KEY (`id`), KEY `idx_user_id` (`c_user_id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
2.2 将生成的文件导入到临时表tmp_table中
找到对应的数据库
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> use test;Database changedmysql> show tables;+----------------+| Tables_in_test |+----------------+| student || t_user || tmp_table |+----------------+3 rows in set (0.00 sec)
mysql> load data infile 'E:/base.txt' replace into table tmp_table;ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statementmysql>
解决办法：在mysql的配置文件中（my.ini 或者 my.conf）中添加secure_file_priv = 文件所在的路径, 然后重启mysql 解决。添加自己文件放置的路径即可。
可以用 show variables like '%secure%'; 先看一下配置：
mysql> show variables like '%secure%';+--------------------------+-------+| Variable_name | Value |+--------------------------+-------+| require_secure_transport | OFF || secure_auth | ON || secure_file_priv | NULL |+--------------------------+-------+3 rows in set, 1 warning (0.00 sec)
secure_file_prive=null 限制mysqld 不允许导入导出secure_file_priv=/var/lib/mysql-files/ 限制mysqld的导入导出只能发生在/var/lib/mysql-files/目录下secure_file_priv=' ' 不对mysqld的导入导出做限制
重启MySQL，先查看配置：
mysql> use test;Database changedmysql> show variables like '%secure%';+--------------------------+-------+| Variable_name | Value |+--------------------------+-------+| require_secure_transport | OFF || secure_auth | ON || secure_file_priv | E:\ |+--------------------------+-------+3 rows in set, 1 warning (0.00 sec)
mysql> load data infile 'E:/base.txt' replace into table tmp_table;Query OK, 100000000 rows affected (3 min 53.42 sec)Records: 100000000 Deleted: 0 Skipped: 0 Warnings: 0 mysql>
3、以临时表为基础数据，插入数据到t_user中
一亿数据需要：快半个小时了。。。（或许直接在命令行下运行更快点...）
更新创建时间字段让插入的数据的创建时间更加随机：
mysql> UPDATE t_user SET create_time=date_add(create_time, interval FLOOR(1 + (RAND() * 7)) year);Query OK, 100000000 rows affected (7 min 24.17 sec)Rows matched: 100000000 Changed: 100000000 Warnings: 0 mysql> UPDATE t_user SET create_time=date_add(create_time, interval FLOOR(1 + (RAND() * 7)) year);Query OK, 100000000 rows affected (8 min 2.49 sec)Rows matched: 100000000 Changed: 100000000 Warnings: 0
4、参考
MySQL如何快速的创建千万级测试数据
The MySQL server is running with the --secure-file-priv option
更多相关文章
- 都 2021 年了，居然还有人在手写测试数据?
- MySQL数据库测试数据导入脚本与基础查询操作
- 小技巧 | 如何在SQL Server中快速创建测试数据？
- Android(安卓)自动向手机添加联系人（测试数据用）
- Android性能测试数据收集（全）
- Python排序算法[二]：测试数据的迷雾散去
- 如何让django芹菜写入测试数据库进行功能测试？