Google ：推荐开发者编写设备上的AI应用
如今的手机和个人电脑都配备了新的硬件，可以直接在设备上运行人工智能。在今年的 Google I/O 大会上，Google 鼓励程序员们充分利用它。 这个思考是在本地存储的数据上运行大语言模型，即使没有互联网连接。数据保持私密性，不会离开设备，而且该方法可以节省资金。 Google的产品经理Sachin Kotwani在 Google I/O 大会上如此说： “作为开发者，你可以做减少或消除处理服务器端维护、容量、限制或另一个入口的成本的需求。” 运作方式 开发设备端人工智能应用程序的能力是当今人工智能处理方式的重大进步。 新的手机和个人电脑中的神经处理器使设备上的人工智能成为可能。 如果大家还没有注意到的话，人工智能其实已经存在于设备上。它运行基本的智能手机活动，例如建议文本消息、改进图像以及分析功耗以节省电池等。 新手机和个人电脑中的神经处理器使设备上的人工智能成为可能。但是，在没有任何 AI 加速器的情况下，在 PC 上运行具有 10 亿或更多参数的 LLM（例如 TinyLlama 或 Phi-2）速度非常慢。 我们只能在带有Jan.ai或GPT4All的 CPU 上运行 LLM ，但这会给个人计算机带来不小的负载。 在具有强大 GPU 的PC 上运行大语言模型是可以的。但设置是一件苦差事——我们需要下载模型、加载神经网络环境（例如 Nvidia 的 CuDNN）、安装开发者工具并需要编译它。 新一波能够在设备上进行矩阵数学运算的加速器和 GPU 使得在手机上实现 AI 成为可能。 因此，大多数人工智能计算都发生在云端强大的 GPU 上，这就像将 GPT-4 API 加载到聊天机器人界面中一样简单，然后将查询转移到 OpenAI 服务器基础设施中的 GPU 上。然后这些 API