无意搜索发现是PHP设置导致的，进入宝塔管理界面点击PHP管理-性能调整根据需求设置后内存缓存终于不继续增加了，算是解决了。
还有扩展优化设置，直接引用原作者内容以备不时之需。
http://www.aeink.com/657.html
具体优化设置步骤
1、添加计划任务，定期释放内存，建议设置每天释放一次，执行时机为半夜，如：3:30
2、打开Linux工具箱添加Swap
Swap推荐值：
物理内存 Swap
512M 1024M
1GB 1500M
2GB 2048M
4GB 4096M
6GB+ 4096M
3、安装PHP缓存扩展，根据即将部署的站点需求，尽量使用更高的PHP版本，另外缓存安装建议如下：
脚本缓存：xcache、opcache 任选一项安装，PHP5.2-5.4建议使用xcache，PHP5.5以上建议使用opcache
内容缓存：若程序支持，建议优先顺序如下： redis > apc > memcached > memcache
注意：内容缓存和脚本缓存，都各只安装一个，不要安装多个!
4、若程序支持，尽量使用imagemagick代替PHP自带GD，以提升性能
5、若程序支持，尽量安装fileinfo、exif扩展，以提升站点性能和安全性
6、若确定您的程序不需要，尽量不要安装ZendGuardLoader，ioncube解密扩展
7、若您的程序不需要PATH_INFO，请把它关闭
8、PHP并发调整建议：
CPU/内存 单站点 多站点
1H/512M 20-30 10-20
1H/1G 30-50 20-30
2H/2G 50-80 30-50
2H/4G 60-100 30-50
4H/4G 100-150 30-80
4H/8G 100-200 30-80
6H/6G 100-200 30-80
8H/8G 100-300 50-100
8H/16G 100-300 100-150
16H/16G 100-300 100-150
注1：容易受到CC攻击的站点使用的PHP版本，尽量不要设置过高的并发，以免服务器被打死
注2：VPS性能参差不齐，以上建议仅供参考，请根据实际使用效果自行调整
注3：不建议设置超过300并发上限，哪怕您的服务器性能足够好；若发现并发不够用，请尝试优化站点数据库缓存可能更有效
9、MySQL数据库版本建议：
CPU/内存 数据库
1H/512M MySQL5.1
1H/1G MySQL5.1/5.5
2H/2G MySQL5.1/5.5
2H/4G MySQL5.5/5.6
4H/4G+ MySQL5.5/5.6/5.7