亚洲精品二区三区_91手机在线播放_91国内视频在线观看_91在线免费播放视频_国产精品九一_久久久国产亚洲精品

廊坊新闻网-主流媒体,廊坊城市门户

MosaicML发布300亿参数的MPT-30B语言模型,训练成本大幅降低|快看

2023-06-26 02:33:49 来源:ITBEAR


(资料图片)

【ITBEAR科技资讯】6月25日消息,AI 创业公司MosaicML近日发布了一款名为MPT-30B的语言模型,该模型拥有300亿参数,训练成本远低于其他竞争对手,有望推动AI模型在更广泛领域的应用并逐步降低训练成本。

MosaicML首席执行官兼联合创始人Naveen Rao表示,MPT-30B的训练成本仅为70万美元(约502.44万元人民币),远低于类似产品如GPT-3所需的数千万美元训练成本。该模型由于成本低、体积小,可以更快速地进行训练,并且更适合在本地硬件上部署。

据ITBEAR科技资讯了解,MosaicML采用了Alibi和FlashAttention技术来优化模型,这些技术可以实现更长的文本长度和更高的GPU计算利用率。MosaicML还是少数几个能够使用Nvidia H100 GPU的实验室之一,相较于以往的成果,他们的每块GPU吞吐量提高了2.4倍以上,从而可以更快地完成训练过程。

除了使AI技术更易获取外,MosaicML还专注于提高数据质量并提升模型性能。他们目前正在开发一款工具,可以在预训练过程中逐步引入特定领域的数据,以确保训练中包含多样化且高质量的数据组合。

MosaicML表示,将模型参数扩展到300亿只是第一步,接下来他们将以降低成本为前提,推出更大体积、更高质量的模型。

需要注意的是,开发者可以从Hugging Face下载并使用开源的MPT-30B基础模型,还可以使用自己的数据在本地硬件上进行微调。

关键词:

主站蜘蛛池模板: 伊人久久大香线蕉久久婷婷 | 一级黄色在线看 | 精品视频一区二区三区四区五区 | 国产精品久久久久久久免费看 | 国产精品任我爽爆在线播放66 | 偷偷鲁国内视频视频在线 | 啦啦啦www在线观看免费视频 | 男人天堂新地址 | 奇米777四色精品综合影院 | 四虎永久免费地址在线观看 | 日日摸日日碰夜夜爽无码 | 男人进女人下部全黄大色视频 | 人与禽性视频77777 | 国产亚洲欧美一区 | 精品国产麻豆免费人成网站 | 日本人一级大毛片 | 青青偷拍视频 | 久久综合一区二区三区 | 国产av无码专区亚洲av毛网站 | 国产精品久久久久无码av色戒 | 亚洲一区二区三区精品视频 | 亚洲欧美日韩另类在线专区 | 巨骚综合 | 日韩在线视频一区 | 亚洲国产高清视频 | 日韩 国产 欧美 精品 在线 | 北条麻妃一区二区三区av高清 | 四虎影视免费在线观看 | 久久精品片 | 老熟妇乱子伦系列视频 | 欧美伊香蕉久久综合网99 | 国内精品乱码卡一卡2卡麻豆 | 国产精品免费观看视频播放 | 国产精品国产三级国产专区50 | 色综合欧美激情亚洲小说 | 亚洲熟妇无码另类久久久 | 久草热线视频 | 女人被狂躁的高潮免费视频 | 久久女同 | 好紧好爽好深再快点av在线 | 成人快色|