分析Mysql大量数据导入遇到的问题以及解决方案
16lz
2021-12-28
在项目中，经常会碰到往数据库中导入大量数据，以便利用sql进行数据分析。在导入数据的过程中会碰到一些需要解决的问题，这里结合导入一个大约4G的txt数据的实践，把碰到的问题以及解决方法展现出来，一方面自己做个总结记录，另一方面希望对那些碰到相同问题的朋友有个参考。
我导入的数据是百科的txt文件，文件大小有4G多，数据有6500万余条，每条数据通过换行符分隔。每条数据包含三个字段，字段之间通过Tab分隔。将数据取出来的方法我采用的是用一个TripleData类来存放这三个字段，字段都用String，然后将多条数据存到List<TripleData>中，再将List<TripleData>存入mysql数据库，分批将所有数据存到mysql数据库中。
更多相关文章
- mybatisplus的坑 insert标签insert into select无参数问题的解决
- python起点网月票榜字体反爬案例
- 《Android开发从零开始》——25.数据存储(4)
- Android系统配置数据库注释(settings.db)
- Android中不同应用间实现SharedPreferences数据共享
- [RK3399][Android7.1.1] WifiAp:开机默认打开wifi热点
- android图表ichartjs
- Android(安卓)Studio bug - attribute 'android:versionCode' no
- Android内容提供者源码