网上看到一个叫基地的账号发了一些对 GPT-40 不同的观点。“只要 ChatGPT 还是 Transformer 模型，只要用的人多了靠 OpenAI 的算力怎么可能保证低延迟。”我基本上同意他的观点，结合他的想法说下我的观点。这也是对 OpenAI 的一个考验。

Transformer 算法确实很了不起，能够处理一切被当成序列的数据，而且将来在很多领域都会得到广泛应用。但是 Transformer 有一个最大的问题就是对算力的消耗是非常大的。所以前段时间为什么所有人都在讨论“人工智能的尽头是能源”，这个对算力的要求非常大。

比如说在处理文字输入的时候，我觉得 OpenAI 也许还能应对，但如果大家所有人都用 OpenAI 的 GPT-40 版本，比如说它可以用手机摄像头做输入，那么首先声音的输入就比文字输入的带宽要大，而且我相信拿声波来做 token 的话，这种分析能力是远远超过文字的。那么图像就更不用说了，把图像变成高维度的向量，也是作为 token 把它送给大模型去做推理，说白了就是让大模型理解图像的话这个开销也比较大。

如果用摄像头睁开眼看世界拍视频，那视频就得把一帧一帧的图像变成 token 传回去，这样你想象一下当用 GPT-40 版本这种看见听见能说会道所有能力的时候，这个比文字的版本需要的算力要大很多。那这样的话，如果 OpenAI 的中心服务器算力不够的话很有可能就会导致演示的效果很好，时延只有 300 毫秒像真人一样交流，到真正使用的时候可能大多数人的请求就被服务器无法及时处理，可能就变成了很长时间的等待，那所有惊艳的效果像真人一样交流的感觉可能就没有了。

如果谣传再被证明是真的要跟苹果合作，那确实不知道是苹果还是微软来提供这种计算中心的资源，因为苹果有几十亿用户，一旦都去用 Siri，Siri 的背后又是 GPT-40，这样的话我觉得就不是 OpenAI 的服务器被挤爆的问题。可能大模型都要崩溃了，所以这个对 OpenAI 来说，可能是一个巨大的挑战。

所以如果真的走到这一步如果还是一个千亿的模型甚至万亿的模型，这种带来的成本还有用户增多带来的不能服务的糟糕的用户体验，可能会毁掉这个产品。那现在唯一的出路我觉得就是把模型做小，就是看 OpenAI 愿不愿意把 GPT-40 做一个 100 亿以内的版本或者做到二三十亿的参数，然后做一个能跑在本地机器人、本地电脑、本地手机和汽车上的版本，也就是我说的大模型对算力要求太高，要远远高于一般的存储和一般云计算、主机所需要的算力。全部用中心化的、云化的这种提供算力的解决思路很有可能会导致算力崩溃。所以得把这个算力分散到边缘，散到终端上，随意未来看哪个创业团队或哪一个开源社区能真正提供一个几十亿模型参数的、支持多模态能力的、能够跑在手机汽车电脑上。就把这个模型 token 的很多的处理能力分散到终端上，至少在终端上能实现对图片对视频对音频基本的识别和处理，一些复杂的逻辑再到云端，这样把算力从一个中心化的算力变成中心化算力加上分布式算力，把全世界几亿台电脑几亿台手机的终端算力充分的调动起来。这样才有可能变成一个我们想象的未来人工智能可以像真人一样跟我们自如交流，这样的一个模式。

所以我是觉得我们那天看到的是演示，一旦用户多了之后。OpenAI 的算力还能不能支撑，我们可以拭目以待，当然我希望他能支撑了。那就说明他们一定在工程上解决了算力的问题。

另外这次还有一个，就是 OpenAI 把原来收费的服务都免费了，显然会带来更大的用户，所以我觉得它免费有两个原因，可能一个是为了得到更多的用户交互数据，因为现在全世界的数据对 OpenAI 来说已经不够用了。如何能拿到更多用户提供的数据，第二个是为了根谷谷歌竞争，因为搜索是不需要登录的，搜索也是免费的，就是表明了 OpenAI 还是要打败 Google，抢夺 Google 每年可能几百亿美金甚至更大的收入市场，但是免费之后带来用户的增多，因为如果不能把大模型算力的成本降低到像搜索一样的算力成本，那么这个账可能是算不拢的，所以到底这次改免费的商业模式是不是会成立，我们也拭目以待。所以你怎么看？你觉得 OpenAI 的算力能够支撑这么多用户、让每个用户都能用 300 毫秒的延时来跟大模型对话吗？