[LG]《SciML Agents: Write the Solver, Not the Solution》S Gaonkar, X Zheng, H Xi, R Tiwari... [UC Berkeley & LBNL] (2025)
SciML Agents：让大语言模型写求解器代码，而非直接预测解答
• 传统SciML多用神经网络直接预测科学问题解，准确性和稳定性难以保证。
• 本文提出用大语言模型（LLM）根据自然语言ODE描述生成科学合理的数值求解器代码，选择刚性与非刚性求解器、设定容差、稳定性检查等，利用成熟数值算法优势。
• 创新推出两大数据集：误导性符号化简诊断集（考察模型是否进行真正的代数化简而非表面匹配）和规模达1000个多样化ODE问题的ODE-1000基准集。
• 对比多款开源（Llama系列、Qwen系列）及闭源（GPT-4.1）模型，分析无指导提示、指导提示和微调三种策略，结果显示合理提示和微调可显著提升代码可执行率及数值准确性。
• 规模和更新迭代迅速提升模型符号推理能力，大型新一代模型在充分提示下无需微调即可实现接近100%准确率。
• 开源代码与基准已发布，助力科学代码生成向“语义正确+数值有效”迈进。
心得：
1. 纯靠模式匹配难以判断ODE刚性，需模型具备符号代数简化和多步推理能力，体现深层数学理解。
2. 合理设计提示（embedding领域知识和推理步骤）远比盲目放大模型规模更能提升科学计算代码质量。
3. 微调虽能提升小模型表现，但大型新一代模型凭借强大的指令学习能力和上下文理解能力，提示工程成为关键利器。
详情🔗arxiv.org/abs/2509.09936
科学机器学习大语言模型ODE求解数值算法代码生成符号推理
