谷歌突袭发布AI应用，无需Wi-Fi、手机就能跑大模型！网友实测两极分化
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
整理｜冬梅
近日，据TechCrunch报道，谷歌悄然推出了一款名为GoogleAIEdgeGallery的应用（谷歌称之为“实验性Alpha版本”），用户无需Wi-Fi连接即可在设备上运行AI模型。这款应用目前仅适用于Android系统，允许用户使用HuggingFace的几款“公开可用的AI模型”，这标志着谷歌在将先进的AI技术直接引入移动设备方面迈出了重要一步。
谷歌悄然发布一款新AI应用
这款全新AI应用允许用户搜索公开可用的AI模型，下载后无需连接Wi-Fi即可在本地运行。在本地运行这些模型时，用户可以要求AI执行几乎所有连接Wi-Fi时通常会执行的操作，例如生成图像、与AI聊天、浏览网页、编写代码以及提问。
总结起来，主要特点包括：
本地运行，完全离线：无需网络连接，所有处理都可直接在本地设备上进行。
智能模型选择：轻松在HuggingFace的不同模型之间切换并比较它们的性能。
图像问答：上传图片并提出相关问题。获取描述、解决问题或识别物体。
PromptLab：用户可以使用它来启动由模型驱动的“单轮”任务，例如摘要和重写文本。PromptLab附带多个任务模板和可配置的设置，用于微调模型的行为。
AI聊天：可进行多轮对话。
性能洞察：实时基准（TTFT、解码速度、延迟）。
自带模型：测试用户本地的LiteRT. task模型。
开发者资源：模型卡和源代码的快速链接。
GitHub项目地址：https ://github. com/google-ai-edge/gallery/wiki
虽然本地AI模型显然无法做到所有需要互联网连接的典型AI模型所能做到的事情，但它们仍然拥有不少优势。首先，本地AI模型的响应速度更快，因为无需等待服务器响应而产生延迟。
这是因为本地AI模型充分利用了设备处理器的强大功能，并且所有数据都在设备上运行，而不是在云端。由于所有数据都基本不离开设备，因此数据被拦截、存储或滥用的风险显著降低。
此外，对于注重隐私的用户来说，本地AI模型是一个绝佳的选择。当然还有另一个显而易见的好处是，无需寻找稳定的Wi-Fi或移动网络即可使用本地AI模型。
值得注意的是，谷歌警告称，实际性能可能会有所不同。拥有更强大硬件的现代设备可以预见地更快地运行模型，但模型大小也很重要。与较小的模型相比，较大的模型完成一项任务（例如，回答有关图像的问题）所需的时间会更长。
那么，GoogleAIEdgeGallery是如何工作的？
事实上，可以将这款应用视为一个平台，用于运行AI开发平台HuggingFace上提供的第三方AI模型。应用的主屏幕包含三个独立的部分——图像问答、提示实验室和AI聊天。
当用户点击“AskImage”和“AIChat”时，该应用会向他们展示所有符合其需求的AI模型。“PromptLab”部分允许用户“总结、重写、生成代码，或使用自由形式的提示来探索单轮法学硕士（LLM）的用例”。使用“AskImage”，您可以“上传图片并提出相关问题，获取描述、解决问题或识别物体”。
同样，AI聊天部分可让用户与AI模型进行逐个对话。
用户：把我手机搞崩溃了
该款应用推出后，在HackerNews、Reddit等平台上有许多网友进行了实际测试，有人认为这款应用体验起来感受不错，也有人称用过后把手机搞崩溃了。
就使用体验而言，有些用户认为，它并不尽如人意。
“上周v1. 0.1刚发布时，我试用了一下，结果直接把我的Pixel7搞崩溃了。几天前我又试了试v1. 0.3，情况稍微好了一些，但CPU推理速度很慢。我给一个也有Pixel7的朋友看了，他的推理速度更快。后来，当我们尝试使用GPU进行后续提问时，这款应用在我们两部手机上都崩溃了。”
同样使用谷歌手机Pixel6a的用户表示，的确出现了应用程序崩溃的现象。
“当我尝试在Pixel6a上切换到GPU推理时，应用程序崩溃了。”
对于上述两位用户的评论，也有网友出来反驳称，可能是个别手机点问题，并不是普遍现象。
“我不确定你的问题是不是手机的问题。我用的是两年前的中档摩托罗拉手机（2023MotoGStylus），我一直用它来从截图中提取文本，至少90%的情况下它都能顺利运行而不会崩溃。每个上下文窗口只能显示一张图片。但4B每次都会让它崩溃。”
也有人晒出了该应用程序在其手机上运行的截图，截图显示该应用在网友的Pixel7Pro上运行良好。
还有人表示，无论是否运行良好，都没什么值得炫耀的，因为这并不是什么新技术，PlayStore上有多个应用程序允许在本地运行大语言模型，比如PocketPal和PrivateAI。
比CoreML落后很多年？
这款产品发布后，除了网友评价褒贬不一外，还有人认为它只是对TensorFlowLite+MediaPipe在新“品牌”下的重新包装，并将其与苹果核心机器学习框架产品CoreML做比较，认为谷歌这款应用已经落后好几年了。
“与CoreML和TimyML等框架现有的产品相比，这款应用程序落后了好几年。此外，谷歌必须首先证明他们不会为了满足下一季度投资者的预期而放弃该产品。”
CoreML是Apple开发的框架，用于在iOS、macOS、tvOS和watchOS设备上运行机器学习模型。它专为设备端推理而设计，在保护数据隐私的同时，最大限度地减少内存占用和功耗。它充分利用Apple芯片（包括CPU、GPU和神经引擎），最大限度地提高速度，并最大限度地减少内存占用和功耗。
模型准备：ML模型在强大的计算机上进行训练，并转换为CoreML格式（.mlmodel），针对Apple硬件进行优化-使用CoreML工具；
集成：文件. mlmodel已添加到Xcode项目中。Xcode会自动为模型生成一个Swift或Objective-C类(.mlmodelc)，提供类型安全的输入和输出访问；
执行：应用程序将输入数据（例如图像、文本）传递给模型。CoreML将计算任务调度到最合适的硬件（CPU、GPU或神经引擎），以实现高效的推理；
状态模型：最近的CoreML更新支持状态模型（例如生成式AI中使用的模型），管理状态（例如语言模型的键值缓存）以提高效率并降低开销；
性能分析：用户可以使用Xcode和CoreMLTools中的工具分析模型性能、识别瓶颈并针对特定硬件优化模型；
有网友用亲身经历反驳了上述观点，认为谷歌的这款应用程序和苹果CoreML是不同的产品。没什么可比性，也并不是落后。该网友称：
“CoreML是Apple生态的专用工具，允许用户将PyTorch模型转换为. mlmodel格式，从而在iOS/macOS设备上高效运行。
相比之下，GoogleMediaPipe是一个强大的跨平台C++库，支持在iOS、Android和Web等多种设备上部署机器学习流程。它不仅集成了TensorFlowLite（现称LiteRT），还提供了图形化的数据处理能力，可高效执行常见的机器学习预处理任务（如图像缩放、标注等）。
虽然谷歌早期的一些产品因频繁淘汰而饱受调侃，但MediaPipe是开源的，这一点值得肯定。我曾基于它的一个分支开发了一款跨平台计算机视觉产品（iOS/Android），尽管架构复杂，但运行效果出色——而这样的跨平台能力，CoreML是无法实现的。”
使用CoreML一段时间的用户表示自己花了一段时间调整了一个自定义的PyTorch模型，让它导出到CoreML，结果它到处都是这样那样的错误，要么是不支持，要么是分段错误，还有各种莫名其妙的错误，很让人失望。
但当他在评论区询问GoogleAIEdgeGallery是否是CoreML的替代品时，有用户劝他别用GoogleAIEdgeGallery了，因为也不好用。
我花了几分钟就在Pixel8a上配置并测试了Gemma31B模型，整个过程出乎意料地顺利，这让我很惊喜。
但实际表现简直糟透了！它几乎无法正确理解问题，甚至都不尝试给出像样的回答，生成的英语回复也极其勉强。我就问了一个简单的问题：’为什么这么小的模型能在手机本地运行？’结果它的回答质量差到让我直接放弃了这个模型。
我原本就对AI没抱什么期待，这真是个很大的问题。
那么，谷歌推出这样一款产品，受众是谁？
有网友推测，这款产品的目标受众是所有需要跨平台部署机器学习模型的人，特别是那些需要超出TFLite运行时功能支持的人。大语言模型和计算机视觉任务就是典型的例子。
以手势识别系统为例，它可能需要完成以下步骤：
将输入图像预处理为特定颜色空间并调整尺寸
将图像数据复制到GPU内存
运行对象检测TFLite模型来识别手部位置
调整输出图像尺寸
运行手势识别TFLite模型来解析手势
对手势输出进行后处理，转换为有意义的指令
在iOS和Android平台上实现这样的功能，需要编写大量超出TFLite模型本身的代码。
GoogleMediapipe的解决方案是将这些图形处理流程和可共享的处理“节点”打包成一个C++库。开发者可以从中选择需要的组件，并在不同任务间复用这些操作。这个库不仅支持跨平台编译，还为支持的任务提供了GPU加速选项。
该网友还猜测，Google内部可能讨论过：是应该将这些功能扩展到TFLite运行时中，还是应该单独开发一个库（Mediapipe）。毕竟TFLite已经支持自定义编译选项和附加操作。
最后他们的结论是：让TFLite继续专注于“基于Tensor的计算”核心任务，而将大语言模型、图像处理等更广泛的功能放在单独的库中实现。
参考链接：
https ://xpert. digital/en/google-ai-edge-gallery/
https ://annjose. com/post/mobile-ondevice-ai/
活动推荐
6月27～28日的AICon北京站将继续聚焦AI技术的前沿突破与产业落地，围绕AIAgent构建、多模态应用、大模型推理性能优化、数据智能实践、AI产品创新等热门议题，深入探讨技术与应用融合的最新趋势。欢迎持续关注，和我们一起探索AI应用的无限可能！
今日荐文
被高薪吸引却遭愚弄！科学家怒曝AI科研黑幕：多为个人“捞金”，DeepMind百万成果是“垃圾”
新存1000万，为客户子女提供实习机会？字节等回应；宇树更名，王兴兴曾称或赴港上市；韦神新成果正式命名“韦东奕定律”|AI周报
Redis之父：哪怕被喷我也得说，AI远远落后于人类程序员！开发者跟评：用大模型气得我自己写代码都有劲儿了
AI生图迎来大升级：图像编辑达到像素级！背后团队大多来自StableDiffusion模型基础技术发明团队
“炸穿”英伟达财报！因H20“滞销”痛失300亿，老黄气晕：DeepSeek、Qwen用美平台就赢了
你也「在看」吗？👇
