陈红阳：大模型开启科学计算新篇章 | CNCC专家谈

大模型是一种预先在海量非标记数据集上训练、具有大量参数的深度神经网络。其显著特点之一是具有“涌现能力”，能够在多个领域中展现出高质量的智能表现。随着技术的不断进步，大模型的应用在通用领域和特定领域中变得日益广泛。伴随计算能力的提升与数据资源的广泛积累，研究者们越来越关注利用大模型进行科学计算与问题求解的方法。科学问题通常具有极高的复杂性，涉及海量数据和复杂计算。大模型的使用能够有效应对这些复杂性，在加速数据处理与分析的同时，提供高度准确的预测结果，从而显著推动科学研究的发展与进步。

大模型的强大计算能力和自动化数据处理能力对地球科学研究领域产生了影响，推动了地学研究在数据收集、分析和应用等各个环节的全面升级。地学研究往往涉及大量多源数据，如遥感影像、地质图、气象数据等。大模型能够高效地处理这些大规模、多维度的数据，提取出其中的复杂模式和隐含信息。例如，遥感技术生成的影像数据量巨大，传统的人工解译方法费时费力。通过应用大模型可以实现对遥感影像进行分类、目标检测和变化检测等操作, 这在资源勘探、环境监测和灾害评估中具有重要意义。大模型在自然语言处理中的应用，特别是预训练语言模型，可以用于构建地学领域的知识图谱。通过解析地学文献、报告和数据集，大模型能够自动生成结构化的知识图谱，支持地学研究中的知识发现与知识管理。之江实验室研发了地学大模型Geogpt旨在提供包括知识查询、数据获取、科研启发、分析推理在内的科研能力，帮助地球科学工作者提升科研效率，促进创新成果的产出。

在数学研究方面，由于推理能力和训练数据的不足，大模型在解决几何和数学中的复杂问题时常常面临困难。然而，LLEMMA、Mathstral、InternLM-Math 和 AlphaGeometry等数学大模型在这一领域取得了显著进展。特别是AlphaGeometry，在对30道奥数几何题的基准测试中，AlphaGeometry在标准奥数时限内解决了25道题目，而人类金牌得主的平均解答数为25.9道。它在解决复杂几何问题上的表现已经接近人类奥林匹克金牌得主的水平，这是人工智能性能的重大突破。

在医疗领域，早期的医疗语言模型主要是在通用预训练语言模型的基础上，利用医学文献或临床文本进行领域适应。这些模型的参数规模从几亿到几十亿不等。然而，随着模型架构和训练方法的进步，医疗大语言模型的规模迅速增长，达到了数千亿参数的规模。BioMistral是一个为生物医学领域设计的开源预训练大型语言模型集合，它基于Mistral模型并在PubMed Central上进一步预训练。BioMistral通过量化和模型合并技术提供轻量化模型，具备出色的医学问答能力。Med-PaLM 2则在医学文本训练和特定任务中表现优异，能够回答复杂医学问题并生成优质的长篇回答，在多项医学应用中超越了人类专家。在基因组学领域，大模型也显示出了巨大的潜力，scGPT是一种生成式预训练模型，旨在应用于单细胞多组学领域。scGPT利用生成式预训练变换器架构，通过超过3300万个细胞的单细胞RNA测序数据，构建了细胞和基因的嵌入表示。该模型能够高精度地执行细胞类型注释、多批次整合、多组学整合和遗传扰动预测等任务。在蛋白质模型领域，2024年5月发布的AlphaFold3能够预测所有已知生物的蛋白质结构。此版本在AlphaFold2的基础上特别优化了对多蛋白复合体的预测能力，并且能更好地考虑蛋白质间的相互作用。AlphaFold3的这些进步预示着它在生物医学研究和药物开发方面的巨大潜力，可能引领生物科学的重大变革。未来，这些大模型将增强对生物分子数据的解释和生成能力，显著推进基因组学和个性化医疗的发展。

未来，大模型发展的课题将包括模型规模与复杂性的持续增长、能效与计算优化、专用领域模型的研发、多语言和跨文化适应性提升，以及更强的人机协作与增强智能等。