AIGC宇宙 AIGC宇宙

序列

多功能RNA分析，百度团队基于Transformer的RNA语言模型登Nature子刊

多功能RNA分析，百度团队基于Transformer的RNA语言模型登Nature子刊
编辑 | 萝卜芯预训练语言模型在分析核苷酸序列方面显示出了良好的前景，但使用单个预训练权重集在不同任务中表现出色的多功能模型仍然存在挑战。百度大数据实验室（Big Data Lab，BDL）和上海交通大学团队开发了 RNAErnie，一种基于 Transformer 架构，以 RNA 为中心的预训练模型。研究人员用七个数据集和五个任务评估了模型，证明了 RNAErnie 在监督和无监督学习方面的优越性。RNAErnie 超越了基线，分类准确率提高了 1.8%，交互预测准确率提高了 2.2%，结构预测 F1 得分提高
5/15/2024 3:59:00 PM
ScienceAI
全球最长开源！元象开源大模型XVERSE-Long-256K，无条件免费商用！

全球最长开源！元象开源大模型XVERSE-Long-256K，无条件免费商用！
元象发布全球首个上下文窗口长度256K的开源大模型XVERSE-Long-256K，支持输入25万汉字，让大模型应用进入“长文本时代”。该模型全开源，无条件免费商用，且附带手把手训练教程，让海量中小企业、研究者和开发者更早一步实现“大模型自由”。全球主流长文本大模型图谱 参数量和高质量数据量决定了大模型的计算复杂度，而长文本技术（Long Context）是大模型应用发展“杀手锏”，因技术新、研发难度高，目前多为闭源付费提供。  XVERSE-Long-256K支持超长文本输入，可用于大规模数据分析、多文档阅读理解
1/16/2024 3:52:00 PM
李亚洲
MIT研究人员将Transformer与图神经网络结合，用于设计全新蛋白质

MIT研究人员将Transformer与图神经网络结合，用于设计全新蛋白质
编辑 | 萝卜皮凭借其复杂的排列和动态功能，蛋白质通过采用简单构建块的独特排列（其中几何形状是关键）来执行大量的生物任务。将这个几乎无限的排列库转化为各自的功能，可以方便研究人员设计用于特定用途的定制蛋白质。麻省理工学院（MIT）的 Markus Buehler 提出了一种灵活的基于语言模型的深度学习策略，将 Transformer 与图神经网络结合起来，以更好地理解和设计蛋白质。「通过这种新方法，我们可以通过对基本原理进行建模，利用大自然发明的一切作为知识基础。」Buehler 说，「该模型重新组合了这些自然构建
9/12/2023 6:02:00 PM
ScienceAI
  • 1