功耗都有限,根本装不下这么大的模型。”
“总不能用户说一句点外卖,手机先把请求送到几千公里外,再等服务器返回吧?”
“网络差怎么办?没信号怎么办?海外数据合规又怎么办?”
他一口气抛出好几个问题,越说越觉得棘手,眉头紧紧拧在一起。
“还有最要命的硬件瓶颈!现在咱们的旗舰机,撑死也就4G、6G的运存!你这模型就算再怎么压缩,往后台一挂,那运存直接干爆,微信、游戏全得闪退!用户非得把咱们的售后电话打爆不可!”
“服务器训练出来的这种庞然大物,到底怎么塞进手机里?”
顾屿没有急着回答。
他合上电脑,拿起已经凉透的茶杯,又重新放了回去。
“余总,你听说过大模型蒸馏技术吗?”