亚洲精品二区三区_91手机在线播放_91国内视频在线观看_91在线免费播放视频_国产精品九一_久久久国产亚洲精品

廊坊新闻网-主流媒体,廊坊城市门户

MosaicML发布300亿参数的MPT-30B语言模型,训练成本大幅降低|快看

2023-06-26 02:33:49 来源:ITBEAR


(资料图片)

【ITBEAR科技资讯】6月25日消息,AI 创业公司MosaicML近日发布了一款名为MPT-30B的语言模型,该模型拥有300亿参数,训练成本远低于其他竞争对手,有望推动AI模型在更广泛领域的应用并逐步降低训练成本。

MosaicML首席执行官兼联合创始人Naveen Rao表示,MPT-30B的训练成本仅为70万美元(约502.44万元人民币),远低于类似产品如GPT-3所需的数千万美元训练成本。该模型由于成本低、体积小,可以更快速地进行训练,并且更适合在本地硬件上部署。

据ITBEAR科技资讯了解,MosaicML采用了Alibi和FlashAttention技术来优化模型,这些技术可以实现更长的文本长度和更高的GPU计算利用率。MosaicML还是少数几个能够使用Nvidia H100 GPU的实验室之一,相较于以往的成果,他们的每块GPU吞吐量提高了2.4倍以上,从而可以更快地完成训练过程。

除了使AI技术更易获取外,MosaicML还专注于提高数据质量并提升模型性能。他们目前正在开发一款工具,可以在预训练过程中逐步引入特定领域的数据,以确保训练中包含多样化且高质量的数据组合。

MosaicML表示,将模型参数扩展到300亿只是第一步,接下来他们将以降低成本为前提,推出更大体积、更高质量的模型。

需要注意的是,开发者可以从Hugging Face下载并使用开源的MPT-30B基础模型,还可以使用自己的数据在本地硬件上进行微调。

关键词:

主站蜘蛛池模板: 久久在线一区 | 精品伊人久久香线蕉 | 影音先锋男人av橹橹色 | 日本欧美一区二区三区在线观看 | 日韩免费在线视频 | 亚洲欧美日韩国产手机在线 | 色欲aⅴ亚洲情无码av蜜桃 | 欧美激情免费观看 | 免费看黄色录像 | 妇女性内射冈站hdwwwooo | 99久久99热久久精品免 | 日本久草视频 | 亚洲欧洲网站 | 日韩欧美一区二区三区不卡在线 | 一级做a爰片欧美aaaa | 荫道bbwbbb高潮潮喷 | 国产一区日韩二区欧美三区 | 国产精品久久国产精麻豆99网站 | 国产网站91| 欧美又大又色又爽aaaa片 | 91在线一区二区三区 | 国产精品九九久久精品女同 | 永久免费观看午夜视频在线 | 9久爱午夜视频 | 91精品久久久久久久久久小网站 | 99精品久久99久久久久久 | 999yy成年在线视频免费看 | 狠狠热精品免费观看 | 一级一黄在线观看视频免费 | 国产成人久久久精品一区二区三区 | 成人h漫在线观看 | 69堂国产成人精品视频不卡 | 女性一级全黄生活片在线播放 | 欧美中文字幕在线播放 | 久久国产精品亚洲77777 | 久久天天躁夜夜躁狠狠 | 一级成人毛片免费观看欧美 | 日本在线观看成人小视频 | 国产黄色视屏 | 国产精品videossex激情 | 毛片视频在线免费观看 |