面壁智能携手百度智能云：共筑大模型端云协同新生态

近日消息，面壁智能与百度智能云正式宣布建立战略合作伙伴关系，双方将携手合作，共同推进大模型在端云协同领域的解决方案开发。

根据合作协议，双方将基于百度智能云千帆大模型平台、文心系列大模型，以及面壁MiniCPM系列端侧大模型、多个终端和不同场景的前沿技术积累，共同开发、推广端云协同技术方案，进一步提升大模型在具身智能、智能终端、边缘计算等实际应用场景中的模型效果，降低大模型推理成本，提升模型响应速度，提升用户体验和业务效率。

今年9月，面壁智能发布了新一代端侧大模型——MiniCPM3.0，标志着端侧ChatGPT时刻的到来。MiniCPM3.0以其4B模型参数规模，在自然语言理解、知识、代码、数学等方面实现了对GPT-3.5的赶超，并在多个国内外知名模型中脱颖而出。

8月，面壁智能还发布了MiniCPM-V2.6，达到全面对标GPT-4V级水平，并实现了实时视频、多图联合理解首次上端，引发了国内外的高度关注和评价。

面壁智能与清华共同发布大模型智能体GitAgent，以应对复杂任务需求

近日消息，面壁智能携手清华大学自然语言处理实验室共同推出了一项创新研究成果——GitAgent。这是一款具有开创性意义的大模型智能体应用框架，其独特之处在于能够实现自主扩展工具箱功能。

在GitAgent的驱动下，大模型智能体具备了从全球知名开源社区GitHub上自主搜索、学习并集成各类工具集合的能力，从而得以针对各种复杂多变的任务需求迅速进行适应和优化。此举不仅极大地拓宽了大模型智能体的应用领域与解决实际问题的能力，也预示着人工智能技术在自我进化和持续学习方面取得了新的突破。

GitAgent 的工具箱扩充过程包括搜索、配置、应用和存储四个阶段。在搜索阶段，GitAgent 会在 GitHub 上搜索适合用户需求的仓库，并判断仓库是否能用来解决问题。在配置阶段，GitAgent 会根据仓库的 README 文件执行配置命令，还可以通过学习人类经验来解决问题。

在应用阶段，GitAgent 使用配置好的仓库来解决用户需求，如果仓库没有清晰的使用入口，GitAgent 还可以通过学习人类经验来解决问题。在存储阶段，GitAgent 将配置好的仓库及其执行环境存储下来，以便未来使用。

研究团队通过案例展示了 GitAgent 的应用，包括 Qlib 搜索、Bringing-Old-Photos-Back-to-Life 配置和 Sniffles 应用。通过 GitAgent，可以灵活选择不同的搜索策略，并能够熟练处理配置和应用阶段中的各种问题。

GitAgent 的发布拓展了大模型智能体的能力边界，使其可以自主扩展工具箱，从而更好地应对复杂任务需求。这一研究成果有望推动大模型智能体技术的发展，帮助人类实现更加多样更加复杂的任务需求。

面壁MiniCPM-V 2.6开源挑战端侧AI极限：多模态实力比肩GPT-4V新标

近日消息，"MiniCPM-V2.6"端侧多模态人工智能模型，在技术领域内引起了轰动。这款模型以仅仅8B的参数量，实现了在单图、多图及视频理解三项任务上达到SOTA水平的壮举，超越了以往20B参数以下模型的表现。

它的出现，大幅增强了终端设备的AI多模态处理能力，直接对标业界顶尖的GPT-4V模型，预示着端侧AI技术的一次重大飞跃，为用户带来了前所未有的智能体验和效率提升。

以下是特性概括：

模型特点：MiniCPM-V2.6在端侧实现了单图、多图和视频理解等核心能力的全面超越，并首次将实时视频理解、多图联合理解等功能带到端侧，更接近复杂的真实世界场景。

效率与性能：该模型以小博大，具有极高的像素密度（Token Density），比GPT-4o的单token编码像素密度高两倍，在端侧设备上实现了极高的运行效率。

端侧友好性：模型在量化后仅需6GB内存，端侧推理速度高达每秒18个token，比上代模型快33%，并支持多种语言和推理框架。

功能拓展：MiniCPM-V2.6通过OCR能力，将单图场景的高清图像解析能力迁移到多图和视频场景，减少了视觉token的数量，节省了资源。

推理能力：它在多图理解、复杂推理任务中展现出色能力，如调整自行车车座的步骤说明，以及对梗图背后槽点的识别。

多图ICL：模型支持上下文少样本学习，能快速适应特定领域的任务，提高输出稳定性。

高清视觉架构：通过统一的视觉架构，模型的OCR能力得以延续，实现从单图到多图及视频的流畅拓展。

超低幻觉率：MiniCPM-V2.6在幻觉评测上表现优异，展示了其可信度。

MiniCPM-V2.6模型的推出，对端侧AI的发展具有重要意义，它不仅提升了多模态处理能力，也展示了在资源受限的端侧设备上实现高性能AI的可能性。