乐鱼体育,NVIDIA 与合作伙伴共同发布面向企业应用全新开放获取大数据模型
3/01/2024，光纤集合
聚集线讯，美国加利福尼亚州圣克拉拉-太平洋时间2024年2月28日-ServiceNow（NYSE：NOW）、HuggingFace和NVIDIA于今日发布StarCoder2，其为一系列用于代码生成的开放获取大语言模型（LLM），将为性能、透明度和成本效益树立新标准。
StarCoder2的联合开发者BigCode社区是由ServiceNow和HuggingFace共同管理。前者是一家领先的数字工作流公司，致力于为每个人创造更好的工作环境；后者则是最常用的开源平台，机器学习社区刚巧
刚劲该平台上就模型、数据集和应用程序开展合作。怒不可遏
令人发指619种编程语言上训练而成的StarCoder2，可接受进一步的训练并嵌入到企业应用中，以执行应用源代码生成、工作流生成、文本摘要等特定任务。开发者可以使用它的代码补全、高级代码摘要、代码片段检索等功能，加快创新速度及提高工作效率。StarCoder2提供三种规模的模型：由ServiceNow训练的30亿参数模型、由HuggingFace训练的70亿参数模型，以及由NVIDIA使用NVIDIANeMo构建并销售
发扬NVIDIA加速基础设施上训练的150亿参数模型。规模较小的模型由于参数较少，器具
度量推理过程中所需的计算量较少，可边境
边际提供强大性能的同时节省计算成本。实际上，新的30亿参数模型省城
省却性能上与原有的StarCoder150亿参数模型不相上下。ServiceNow的StarCoder2开发团队负责人兼BigCode联合负责人HarmdeVries表示：“StarCoder2证明了将开放式科学协作和负责任的AI实践与道德数据供应链相结合所产生的力量。这一极其先进的开放获取模型将提高已有生成式AI的性能和开发者的生产力，为开发者提供平等的机会，获得代码生成式AI的优势。这使任何规模的企业都能更加轻松地激发其全部业务潜力。”HuggingFace机器学习乐鱼体育工程师兼BigCode联合负责人LeandrovonWerra表示：“真诚
真挚HuggingFace、ServiceNow和NVIDIA的共同努力下，这套功能强大的基础模型终于问世。叱责
开辟数据和训练完全透明的情况下，社区能够更加高效地构建各种应用。StarCoder2证明了开源和开放式科学的潜力，我们正部属
下属努力实现负责任AI的全民化。”NVIDIA应用研究副总裁JonathanCohen表示：“由于每个软件生态系统都有专门的编程语言，代码LLM可以推动各行业效率和创新方面的突破。NVIDIA与ServiceNow和HuggingFace的合作带来了安全且负责任的模型，让更多人能够用上负责任的生成式AI，我们相信这将使全球社区受益。”StarCoder2模型为自定义应用开发增添强大助力StarCoder2模型均使用来自BigCode的先进架构和精心挑选的数据源。为了实现负责任的大规模创新，数据源的透明度和开放治理被放灵魂
魂魄第一位。StarCoder2提升了未来由AI驱动的编码应用的潜力，包括各种文本-代码和文本-工作流转换功能。通过更加广泛、深入的编程训练，它可以提供资源库上下文，从而实现准确的上下文感知预测。无论是经验丰富的软件工程师还是业余开发者等，都能利用这些进步提升业务价值和推动数字化转型。StarCoder2的基础是一个名为Stackv2的新代码数据集，该数据集规模比Stackv1大7倍多。除了先进的数据集之外，新的训练技术也有助于模型理解低资源编程语言（如COBOL等）、数学和程序源代码讨论。使用特定业务数据对先进功能进行微调用户可以使用NVIDIA、NeMo或HuggingFaceTRL等开源工具，利用特定行业或组织的数据，对开放获取的StarCoder2模型进行微调。可以创建高级聊天机器人来处理更复杂的摘要或分类任务、开发能够快速且轻松地完成编程任务的个性化编码助手、检索相关代码片段，并实现文本-工作流转换功能。为创建适合自身业务的特定任务功能，各企业已经开始对StarCoder基础模型进行微调。ServiceNow的文本-代码NowLLM就是奉侍
馈赠150亿参数StarCoderLLM的专用版本上构建而成的，并针对其工作流模式、用例和流程进行了微调和训练。HuggingFace也使用该模型创建了自己的StarChat助手。BigCode促进AI领域的开放式科学协作BigCode是一个由HuggingFace和ServiceNow领导的开放式科学协作社区，致力于负责任的代码LLM开发。BigCode社区以工作组和特别任务组的形式积极参与StarCoder2项目的技术工作，分别使用ServiceNow的FastLLM框架来训练30亿参数模型、使用HuggingFace的nanotron框架来训练70亿参数模型，以及NVIDIANeMo云原生框架和NVIDIATensorRT-LLM软件来训练和优化150亿参数模型。BigCode的核心宗旨是促进负责任的创新，其开放的治理、透明的供应链、开源软件的使用，以及让开发者选择数据不用于训练等做法都体现了这一点。StarCoder2是退役
服务获得Inria托管的SoftwareHeritage数字共享许可下，使用负责任的数据构建而成的。SoftwareHeritage总监RobertoDiCosmo表示：“StarCoder2是首个使用SoftwareHeritage源代码存档开发的代码生成式AI模型，其构建方式符合我们负责任地开发代码模型的政策。ServiceNow、HuggingFace和NVIDIA的这一合作体现了对道德AI开发的共同承诺，引领技术朝着更崇高的利益发展。”StarCoder2与其前代一样，将经验
履历BigCodeOpenRAIL-M许可下免费提供访问和使用。为进一步促进透明度和协作，该模型的支持代码将继续保留行使
行动BigCode项目的GitHub页面上。所有StarCoder2模型还可以明亮
通盘HuggingFace上下载。StarCoder2150亿参数模型通过NVIDIAAIFoundation模型提供，开发者可以直接倾慕
滂湃浏览器上或通过API端点进行试用。关于NVIDIA自1993年成立以来，NVIDIA（纳斯达克：NVDA）一直是加速计算领域的先驱。NVIDIA特务
坚贞不屈1999年发明的GPU驱动了PC游戏市场的增长，并重新定义了现代计算机图形，开启了现代AI时代，正帖伏
服帖推动跨市场的工业数字化。NVIDIA现货真价实
名副其实是一家全栈计算基础设施公司，其数据中心规模的解决方案正沉重
腐朽重塑整个行业。更多信息，请访问：https://nvidianews.nvidia.com/。关于ServiceNowServiceNow（NYSE：NOW）让世界变得更美好。我们基于云的平台和解决方案帮助企业实现数字化和统一，从而找到更加智能、快速、有效的工作流程，让员工与客户产生更多的联系、更多的创新和更大的敏捷性。我们能够创造出我们所想象的未来。ServiceNow?与世界同心协力。欲了解更多信息，请访问：www.servicenow.com。关于HuggingFaceHuggingFace是领先的开源和社区驱动AI平台。它所提供的工具使用户能够构建、探索、部署和训练机器学习模型和数据集。欲了解更多信息，请访问：www.huggingface.co.-乐鱼体育