作家 | 邵斌团队亚bo体育网

剪辑|ScienceAI

2024 年 10 月 30 日，北京理工大学邵斌教学团队在《Nature Communications》杂志上发表了题为：《A long-context language model for deciphering and generating bacteriophage genomes》的最新说合后果，完结了首个生成式 DNA 大语言模子，megaDNA。

该模子期骗无标注的（感染细菌的病毒）基因组数据进行预磨练，不仅能准确量度噬菌体的必需基因，更大致生成长达 10 万碱基对的极新基因组片断，即像写稿当然语言相似生成 DNA 序列。

另外，模子在学习经过中取得的镶嵌层信息（embedding），还能应用于卵白质功能量度、基因调控说合，以及无标注 DNA 片断分类等多个卑劣任务。

著述消释：https://www.nature.com/articles/s41467-024-53759-4

布景先容

什么是「生成式」语言模子？浅易来说，就所以 GPT 为代表的语言模子。自 transformer 架构提议以来，发展出了语言模子的两个门户，一个是 BERT 模子，接纳访佛完形填空的格局来磨练；一个是 GPT 模子，接纳词语接龙的格局来进行磨练。

不错想见，后者更接近普通东谈主语言或者写稿的经过，即逐字地构建句子和段落，因而它具备更强劲的生成才略，亦然目下大语言模子的主流架构。生成式任务一方面与东谈主类语言和调换的样貌自然一致，因为遣意造句是交流的基础。另一方面，词语接龙自己是一类比拟难的任务，大致完成这类任务的语言模子实践上也曾很好地掌抓了序列数据中所蕴含的信息和观念。

为什么要设立针对 DNA 序列的大语言模子？

咱们知谈东谈主类的语言是一种序列信息，而人命的语言 DNA 亦然一种序列信息。生成式大语言模子在东谈主类语言处理和生成上取得了雄壮的奏效，成为咱们阅读，学习和写稿的有劲助手。

咱们就想能否把这套标准应用在人命的序列上，即在人命的语言 DNA 上磨练大语言模子，从而匡助咱们解读 DNA 编码的信息，设想出具有特定功能的 DNA 片断，甚而构建具有医疗或者工业应用价值的新式微生物。

倘若咱们能像写稿有道理的笔墨相似编写具有功能的 DNA 序列，像阅读论文相似从 DNA 编码中获取有价值的信息，那么这么的模子将具有雄壮的学术和应用价值。

模子架构

磨练基于 DNA 序列的语言模子既有上风，也有挑战。上风在于磨练数据的范围。历史的警告标明，语言模子的磨练效果高度依赖于磨练数据的范围大小，数据越多，模子不错作念的更大，磨练的效果也会越好。

跟着 DNA 测序工夫的马上发展，DNA 序列蕴蓄的速率荒谬快，比如一个完好意思东谈主类基因组的测序资本也曾从本世纪初的约一亿好意思元着落到目下的几百好意思元。而这些大范围数据还莫得得到灵验的应用，对机器学习来讲无疑是很大的一个「富矿」。

关联词，磨练这类 DNA 语言模子也存在坚苦，主要挑战是生成式语言模子难以应用于长序列，输入序列越长而显存滥用越大。而关于 DNA 序列，即使是浅易的噬菌体（针对细菌的病毒）也时时长达几万个碱基对，传统的 transformer 模子难以对其进行处理。

从旧年运转，语言模子的输入长度问题得到了极大温雅，说合者提议了好多督察这一问题的工夫。

咱们鉴戒了最新的长读长语言模子的说合物化，即目下在 Meta 责任的大语言模子大师 Yu Lili 博士提议的多层 Transformer 结构。

咱们模子设想了三层的 Transformer 结构，用来处理不同精度的 DNA 信息，最终完结了梗概 10 万个碱基对的输入长度，这个长度固然小于东谈主类基因组或者细菌基因组的长度，但也曾填塞阴私噬菌体的基因组了。因此，咱们使用完好意思的噬菌体基因组序列看成模子的输入来进行磨练。况且，咱们蚁集了梗概 10 万个高质料噬菌体基因组序列，磨练后得到 megaDNA 模子。

图示：模子玄虚。（开头：论文）

重更生成基因组DNA序列

以 GPT 为代表的生成式语言模子最进攻的才略之一是产生全新的具有丰富内涵的笔墨序列。咱们期骗 megaDNA 模子生成了一千条极新的基因组 DNA 序列，并期骗软件 geNomad 对序列进行系统评估。

这些东谈主工生成的基因组序列平均长度为 4.3 万碱基对，包含 67 个量度基因，这些特征与磨练数据中的简直噬菌体基因组高度相似。其中 22% 的序列被识别为有尾噬菌体目（Caudoviricetes）。

在抒发调控方面，这些序列具有完好意思的可能推崇功能的基因抒发系统，包括典型的细菌启动子序列（-35 和-10 区），其 5 端非翻译序列的转录活性显耀高于就地 DNA。同期在肇端密码子 ATG 前具有富含 A 和 G 碱基的核糖体蚁合位点（RBS）。通过 EMSFold 进行结构量度，物化表露这些量度的基因大致造成灵验的卵白质折叠结构。

在功能方面，量度基因编码了噬菌体所需的环节功能卵白，涵盖尾部结构、DNA 代谢、头部拼装以及细胞裂解等功能。值得一提的是，这些生成的基因组序列以及量度基因跟已有的磨练数据具有极低的序列相似性。

必需基因的无监督量度

megaDNA 模子的另外一个应用是之前模子或者生物信息学软件很难完结的，即是必需基因的量度。必需基因的含义在于要是这些基因丧失了功能，噬菌体就不成完成完好意思的复制的经过。

实验上细目必需基因十分繁琐而耗时，时时需要对每个基因进行敲除实验来不雅察噬菌体能否曩昔复制。而咱们的模子大致在不经过任何退换和零星磨练的情况下，对必需基因进行设想量度。

咱们在 lambda 噬菌体这种寰宇庸俗说合的模式生物上作念了考证，针对基因组序列进行了基因敲除的模拟实验，对基因组不同位置片断进行突变，期骗语言模子设想序列亏本，并与实践的 CRISPR 基因敲除实验物化进活动直比对。

设想发现模子量度的高突变亏本区域与实验考证的必需基因高度重合，相应的量度准确度（AUROC）达到0.86。

进一步想考，咱们的模子不错在几万个噬菌体基因组上得到应用，极大提高找寻对应必需基因的着力。

论断

综上，该说合展示了生成式语言模子在基因组序列分析和生成上的雄壮后劲，为噬菌体基因组防范和功能序列设想斥地了全新的旅途。

固然目下生成的基因组片断还未能完结噬菌体的完好意思人命功能（如灵验自我复制）。但该说合及后续责任为重新设想以噬菌体为代表的完好意思生物体基因组奠定了新的设想基础，有望在医疗、农业、食物安全等多个规模取得庸俗应用。

北京理工大学准聘教学邵斌（前 Broad Institute 设想科学家）为著述的第一作家兼通信作家。上海孤独说合者闫嘉伟博士为该责任提供了进攻维持。

代码：https://github.com/lingxusb/megaDNA