当前位置:

【每日AI快讯】6月5日 周三

什么软件好
2024-06-05 10:17:47
 128人浏览

06月05日  周三

💡 再战Transformer!原作者带队的Mamba 2来了,新架构训练效率大幅提升

自 2017 年被提出以来,Transformer 已成为 AI 大模型的主流架构,但它的局限性也逐渐凸显,尤其是在上下文长度增加时,自注意力机制的计算量呈平方级增长。Mamba 模型打破了这一局限,能够实现线性扩展,但它的论文却意外被 ICLR 拒稿。几个月后,更强大的 Mamba 2 发布,其核心层是对 Mamba 的选择性 SSM 的改进,速度提高了 2-8 倍,并在语言建模方面与 Transformers 竞争。Mamba-2 的新算法使其能够利用更大的状态维度,同时在需要更大状态容量的任务上比 Mamba-1 有了显著的改进。研究者还发现,混合模型(如 Jamba、Zamba)与 Mamba-2 结合可以取得更好的效果。该研究的主要贡献包括揭示了状态空间模型与半可分矩阵之间的等价性,改进了线性注意力理论,并提出了 SSD(state space duality)框架,为理解和改进序列模型开辟了新的方向。Mamba-2 的核心是新的 SSD 层,它连接了状态空间模型和结构化掩码注意力,允许利用为 transformer 开发的丰富的系统优化工作。

来源:机器之心


💡 ​1.8B参数,阿里云首个联合DNA、RNA、蛋白质的生物大模型,涵盖16.9W物种

阿里云飞天实验室发布并开源了业界首个联合 DNA、RNA、蛋白质的生物大模型「LucaOne」,旨在综合学习遗传和蛋白质组语言,涵盖 169,861 个物种的数据。LucaOne 采用自监督加半监督学习架构,能在 10 亿量级的序列与注释信息上进行学习,参数规模约 1.8 B。模型不仅可以对核酸、蛋白质的内部特征进行挖掘,还可识别核酸与蛋白质之间的联系,帮助研究人员探索更多生物系统的内在逻辑与规则。LucaOne 的训练数据、训练任务与在基因与蛋白质上的表征能力表现出色,尤其在学习中心法则上取得了显著成效,预测准确率达到 0.85。此外,在流感 H3N2 病毒的免疫逃逸风险预测任务中,LucaOne 结合简单感知机模型实现了 100% 的准确率。LucaOne 模型的开源将促进生命科学的研究与创新,为 AI 在生物科学、疾病诊断、药物开发等领域的应用提供强大工具。随着更多数据、更丰富模态的加入,以及模型的持续升级,LucaOne 将更深入揭示生物系统的智能,推动 AI 在生命科学领域的广泛应用。

来源:机器之心


💡 挖矿哪有AI香?大量比特币矿商开始加速“切换赛道

美国比特币矿商Core Scientific正逐步脱离传统挖矿业务,转向AI领域。他们与英伟达支持的云服务提供商CoreWeave达成了一项为期12年的协议,为机器学习等用例提供基础设施,预计在合同期内带来超过35亿美元的额外收入。Core Scientific自2017年以来一直在挖掘一系列数字资产,CEO Adam Sullivan表示,他们本质上是数据中心行业的电源外壳。2022年,Sullivan在该公司破产时担任CEO,已解决了债务问题,并强化了公司的非比特币业务。随着AI转型的加速,公司的后市前景可期。比特币矿商间刮起AI风,其他矿商如Bit Digital、Hive、Hut 8和TeraWulf等也在寻求增加其他收入来源。分析师表示,引入AI业务可以提高毛利率。

来源:科创板日报


💡 AI PC纪元即将开启!英特尔Lunar Lake笔记本处理器高调登场

在台北国际电脑展(Computex)上,英特尔CEO盖尔辛格(Pat Gelsinger)展示了第六代至强(Xeon 6)数据中心处理器和新一代Lunar Lake处理器架构,以及AI加速器Gaudi 3。他强调这些新产品将有助于英特尔夺回市场份额。第六代至强处理器分为性能版和高效版,具有更高的性能和能效。Gaudi 3专注于处理生成式人工智能培训,性价比高。Lunar Lake处理器用于下一代AI PC,具有强大的AI性能和内存集成技术。英特尔还推出了AI PC开发套件,支持Wi-Fi 7和蓝牙5.1。盖尔辛格强调英特尔在AI PC市场的领先地位,并重申了与合作伙伴关系的重要性。

来源:财联社


💡 “首个面向气象导航的全球气象大模型,复旦大学发布“伏羲”2.0

复旦大学与上海科学智能研究院共同举办“走进智能气象”主题活动,并宣布智能气象创新生态联盟成立。在仪式上,发布了伏羲系列气象大模型2.0(简称“伏羲”2.0),这是一个面向气象导航优化的全球气象大模型。伏羲2.0在天气预报、海气耦合模型、极端天气预测等方面进行了升级,对新能源、航空运输等行业具有积极意义。研发团队还提出了伏羲的下一步升级计划,包括构建基于气象大模型的同化系统、开发地球系统大模型、构建基于大模型的国产化再分析数据集等,以进一步提升气象预测的精度和独立性。

来源:IT之家


💡 OpenAI 和谷歌 DeepMind 员工联名发声:高级人工智能风险巨大,亟需加强监管

OpenAI 和谷歌 DeepMind 的数名前任和现任员工近日联名发布公开信,对高级人工智能的潜在风险以及当前缺乏对人工智能科技公司的监管表示担忧。信中提到,人工智能的发展可能会带来一系列风险,如加剧社会不平等、助长操控和虚假信息传播,以及失控的自主人工智能系统可能导致人类灭绝等。由于严格的保密协议,员工被限制发声,只能向可能并未妥善处理这些问题的公司反映问题。因此,员工们呼吁人工智能公司为揭露人工智能风险的人士提供可靠的举报人保护措施,包括提供可验证的匿名程序,支持开放批评的文化,以及在其他程序失效后,避免对公开分享风险相关机密信息的员工进行报复。共有 13 名员工签署了这封公开信,包括 7 名前 OpenAI 员工、4 名现任 OpenAI 员工、1 名前谷歌 DeepMind 员工和 1 名现任谷歌 DeepMind 员工。OpenAI 曾因员工发声而威胁取消其既得权益,并要求员工签署严格的保密协议限制他们批评公司。

来源:IT之家


标签:
评论 0
登录后即可发布评论
提交