您所在的位置：首页 - 科技 - 正文科技

英伟达同期推出小模型，开卷新方向？

奚诗科技 07-25 【科技】 288人已围观

摘要随着人工智能技术的飞速发展，小型化、高效能的AI模型正逐渐成为新的趋势。HuggingFace、OpenAI、MistralAI三家先锋公司联手英伟达推出小型语言模型（SLM），标志着人工智能行业的重大转变。这些小模型以更低的价格和更高的效率为更广泛的设备和应用程序带来强大的语言处理能力。过去一周，人工智能领域的三家先锋公司HuggingFace、OpenAI、MistralAI联手英伟达相继推出小型语言模型（SLM），新发布的三款小模型SmolLM、GPT-4omini和MistralNemo

随着人工智能技术的飞速发展，小型化、高效能的AI模型正逐渐成为新的趋势。HuggingFace、OpenAI、MistralAI三家先锋公司联手英伟达推出小型语言模型（SLM），标志着人工智能行业的重大转变。这些小模型以更低的价格和更高的效率为更广泛的设备和应用程序带来强大的语言处理能力。

过去一周，人工智能领域的三家先锋公司HuggingFace、OpenAI、MistralAI联手英伟达相继推出小型语言模型（SLM），新发布的三款小模型SmolLM、GPT-4omini和MistralNemo都有一个共同目标：以更低的价格，为更广泛的设备和应用程序带来强大的语言处理能力，预示着人工智能行业的重大转变。

01小模型什么样？能做到什么？小模型相比于大模型，价格更低、效率提升、更环保、可访问性更高，但无法在所有任务中与大模型的原始功能相匹配。近期推出的三个小模型能力如何呢？分别来看看。

1.SmolLM：直接在移动设备上运行HuggingFace的SmolLM可能是三者中最激进的。SmolLM被设计用于直接在移动设备上运行，有三种大小：1.35亿、3.6亿和17亿参数。该系列将AI处理推向边缘，解决了数据隐私和延迟的关键问题。

SmolLM的影响远远超出了单纯的效率提升。通过将AI功能直接引入边缘设备，它为新一代应用程序铺平了道路，让这些应用程序以最小的延迟和最大的隐私运行。这可能会从根本上改变移动计算的格局，以前由于连接问题或隐私限制而不能实现的复杂的AI驱动功能，因为SmolLM成为可能。

2.GPT-4omini：超高性价比的高能力小模型OpenAI的GPT-4omini主打一个高性价比，被很多评论认为是市场上最具成本效益的小模型。

GPT-4oMini的输入价格仅为每百万token15美分，输出价格为每百万token60美分。GPT-4omini的定价比GPT-3.5Turbo便宜60%以上，也比其它小模型更便宜，如谷歌的谷歌的Gemini1.5Flash（0.35美元/0.70美元）和Anthropic的Claude3Haiku（0.25美元/1.25美元），大大降低了AI集成的财务障碍。

不仅是节省成本，GPT-4omini非常聪明。它在数学、编码和多模态推理方面优于其他小型模型。在MMLU基准测试（通用智能）上，它的得分为82%，超过了GPT-3.5和一些更大的模型。

GPT-4omini小模型可以处理一个巨大的128K令牌上下文窗口并输出16k令牌，开辟了大量新的可能性。像Ramp和Superhuman这样的公司已经在实际任务中使用它取得了巨大成功。

此外，它是多模态的，就像它更大的兄弟GPT-4o一样，支持文本和视觉输入，还有更多内容即将推出。

安全也得到了照顾。OpenAI已经融入了“指令层次结构”等新技术，以保持模型的安全性并抵御越狱。

但GPT-4omini无法在手机或游戏机等移动设备上运行，它必须像OpenAI的所有其他模型一样在云中的服务器上运行。

3.Mistral-NeMo：瞄准大规模云模型和超紧凑移动AI之间的中间地带Nvidia和MistralAI合作推出MistralNeMo，这是一个120亿参数模型，具有令人印象深刻的128,000个token上下文窗口，意味着与窗口较小的模型相比，它可以读取和处理更长的文本块。

例如，具有小上下文窗口的模型，可能难以准确总结冗长的新闻文章，英伟达同期推出小模型，开卷新方向？因为它一次只能处理几个句子。然而，MistralNeMo可能会将整篇文章作为一个整体来理解，从而得出更连贯和准确的总结。

MistralNemo在Apache2.0许可下发布，以台式计算机为目标，将自己定位为大规模云模型和超紧凑移动AI之间的中间地带。

多语言能力同样让人印象深刻。MistralNeMo不仅限于一种语言;它在包含100多种语言的海量数据集上进行训练，在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面特别出色，能在语言之间进行翻译、构建可以与世界各地用户交谈的聊天机器人，以及分析多种语言的文档以提取全球见解。

例如跨国企业可以使用MistralNeMo来分析来自不同国家/地区的客户评论，即使这些评论是用不同的语言编写的，以全面了解全球的客户反馈。

此外，MistralNeMo使用一种名为Tekken的新分词器，该分词器专为速度和效率而设计。MistralNeMo使用FP8推理，FP8是一种低精度数字格式，与传统格式相比，它需要更少的内存和处理能力，这使得MistralNeMo能够在更广泛的设备上运行得更快，单个英伟达L40S就能跑起来MistralNeMo。

02为什么卷小模型？1.更快、更便宜的模型可能是下一代人工智能应用程序的竞争焦点模型的性能很重要，但速度和成本同样重要，三大巨头向小模型发力，反映了人工智能领域的开发越来越重视效率、可访问性、专业性的趋势，而不是简单地构建更大的网络。

这种趋势会让AI朝更有针对性、有效性更强的解决方案方向发展，针对特定任务和行业进行更有效率的优化，而不是以包罗万象为目标。

2.更环保、更高的能源效率和可持续性人工智能对环境的影响日益受到关注，发展小模型符合对环保的呼声。较小的模型需要更少的能量就能完成训练和运行，从而减少人工智能的碳排放。

另一方面，各行业面对的环保压力也在日益增大，采用更高效的小模型可以节省能源，会提高企业对人工智能的接受度。这些环保方面的积极作用，会让人工智能成为绿色创新的领导者，而不是气候恶化的参与者。

3.更广泛的人工智能集成为什么说向小模型的转变是人工智能领域的巨大演变？因为随着这些小模型的不断改进和广泛应用，我们可能会看到一个支持人工智能设备和应用程序的新时代，复杂的人工智能服务不只存在于云端，而是服务在具体的终端设备和应用程序里，服务于更多的用户，带来更多的用例。

对于企业而言，小模型的发展意味着会有更多智能的、高效的人工智能解决方案可以更容易地集成到现有系统中。随着人工智能的规模缩小，它对企业和社会的影响会越来越大。

03隐忧与挑战虽然小模型的兴起带来了很多优势，但也存在隐忧和挑战。

首先，小模型无法在所有任务中与大型模型的原始功能相匹配，发展小模型要注重模型专业化、多样性，而不是追求一刀切的想要用小模型解决所有问题，要在模型大小、性能和特定应用要求中找到平衡。

此外，小模型对人工智能的道德问题也提出了新挑战。更低的使用门槛意味着更多的偏见、问责和道德问题，在每个细分的领域深度应用人工智能，都会带来新的AI伦理问题。对小模型的研究和开发要和与之相关的道德准则、法规和监管机制保持同步，才能确保小模型的发展和应用符合公共利益。