第65章 顺手证了
肖宿把这几条线在笔记本上列了出来，还在旁边画了几个箭头，標註出了各自的瓶颈。
代理模型：维数灾难，计算量爆炸。
元启发：无理论保证，收敛慢。
端到端：训练数据依赖，泛化难证。
他盯著这几行字看了很久。
都是好思路，也都在各自的赛道上做出了成果。
但肖宿总觉得，它们缺了点什么。
缺的是对问题本身结构的理解。
这些方法都是在“解”上做文章。
怎么搜索更快，怎么採样更聪明，怎么擬合更准。
但它们很少去问，这个待解的优化问题，它本身有什么內在的性质？
有没有什么是不变的？
有没有什么对称性？
就像解微分方程，你对著一个方程硬算可能算到天荒地老。
但如果能发现它是某个守恆系统的欧拉-拉格朗日方程，立刻就能用变分原理把它简化一大半。
优化问题也一样。
肖宿想起之前读过的李群和李代数的內容。
群论研究的是对称性，在某种变换下保持不变的性质。
如果一个系统具有对称性，那么它的解必然落在某些特定的轨道上。
这些轨道的结构，比整个空间简单得多。
工业场景里的那些高维耦合数据，真的完全隨机吗？
不是的。
设备的运行参数之间，一定有某种物理规律在约束。
生產流程的数据，一定有因果链条在驱动。
即使是看起来最混乱的噪声，也可能有某种统计上的不变性。
如果能找到这些不变性，用它们把高维空间“分层”“分叶”，把一个大问题拆解成一系列低维子问题的组合……
肖宿的笔尖停在纸上。
这就是他在会议室里没来得及细想的方向。
叶状结构是微分几何里的一个概念，描述如何把一个高维流形分解成若干低维的“叶子”，每片叶子內部光滑，叶子之间不相交。
他之前已经运用这个方法解决了几个课题的难点，但是没有想过运用到这个问题上。
如果能构造出这样一个结构，让优化问题的局部最优解落在不同的叶子上，全局最优解落在某片特定的叶子上，那就可以先找叶子，再找叶子上的点。
搜索空间被压缩了。
从整个高维空间，压缩到几片低维流形上。
肖宿在笔记本上写下一个词：叶状结构。
又写下另一个词：李群作用。
如果能在目標函数的定义域上定义一个李群作用，然后用群作用的轨道来分叶，那么同一个轨道上的点，必然具有某种相同的性质。
如果能证明全局最优解一定落在某种特定轨道类型上，那就可以先用群论把轨道类型分类，再在少数几类轨道里精细搜索。
理论上是可行的。
但问题也接踵而至。
首先，目標函数的结构是未知的。
如果是黑箱问题，只知道输入输出数据，怎么定义群作用？
其次，即使能定义群作用，怎么保证轨道分叶和优化问题的极值结构是兼容的？
如果一片叶子里既有高峰又有低谷，那分了也是白分。
第三，也是最难的，怎么定位全局最优解所在的那片叶子？
这需要某种“不变量”，一个在群作用下保持不变却能指示极值位置的標量函数。
肖宿在笔记本上写下三个问號，然后盯著它们出神。
窗外的蝉鸣越发响了。
图书馆里的冷气开得很足，他的指尖却微微发热。
这些问题，每一个都够想很久。
但至少，方向有了。
接下来的几天，肖宿的生活变得极其简单。
早上七点半，从寢室走到图书馆，三楼靠窗那张桌子，坐下，翻开书。
中午去食堂隨便吃点，回来继续。
傍晚闭馆，回寢室洗漱，然后去数学研究院的那间小办公室，继续待到深夜。
办公室白板上的字跡从零散变成密集，又从密集被擦掉重来。
然后，他在白板上画了一个简单的二维测试函数。它有两个驼峰，一个高一个低，全局最优解就在矮的那个上。
他试著用自己设想的方法构造叶状结构，但是失败了。
分叶的唯一性保证不了，同一个点能分到不同叶子上，后续的优化结果跟著乱跑。
之后，他从图书馆借来一本《黎曼流形的叶状结构理论》，翻到后半部分，重新研究“叶状结构的正则性”那一章。
“要保证叶状结构唯一，需要定义一个在流形上处处非退化的可积分布。”
肖宿盯著那行字看了很久，然后在白板上加了一行公式。
用李代数的结构常数来构造这个分布。
然后他又借了《李群作用下的动力系统》，读到“轨道类型分解”那一节时，他停了下来。
这一章写到，如果李群的作用是光滑的，那么流形上的点可以根据迷向子群的共軛类来分类，每一类构成一个光滑子流形。
这些子流形，就是轨道的“型”。
肖宿的脑海里闪过一个念头。
迷向子群，固定某个点的那些群元素构成的子群。
不同的点，可能有不同类型的迷向子群。
如果能证明，全局最优解的迷向子群类型是唯一的，或者至少是罕见的，那就可以反过来，先找所有可能的迷向子群类型，然后只搜索那些可能包含全局最优的类型。
这个想法比他之前设想的“不变量”更精细。
不变量是標量函数，太粗了。
迷向子群类型是代数结构，信息量大多了。
他立刻在笔记本上把这个思路记下来，然后开始推导。
之后，他用了一整个上午来验证这个思路在简单例子上的可行性。
他先构造了几个低维的测试函数，每个函数都定义一个简单的李群作用，即旋转群或者平移群。
然后他计算每个点上的迷向子群，分类，再对比这些分类和函数极值点的分布。
结果比他预想的要好。
在旋转对称的函数上，全局最优点恰好是迷向子群最大的那些点，也就是旋转对称性最高的点。
在平移对称的函数上，全局最优点落在迷向子群平凡的轨道上，也就是没有任何对称性的点。
两种极端，但都有规律。
肖宿靠在椅背上，看著白板上密密麻麻的推导，长长地呼出一口气。
可行。
至少在简单例子上，可行。
接下来要做的，是把这套方法推广到一般情况。
需要证明存在性，需要给出构造算法，需要分析计算复杂度，需要验证在高维非线性系统上的表现……
事情还很多。
但最难的关口，已经过了。
肖宿站起身，活动了一下有些僵硬的肩膀。
接下来几天，肖宿沿著这个方向不断思考，终於在一个雨天写完了最终的论文。
他靠在椅背上，盯著屏幕上那篇三十七页的文档，发了几秒钟的呆。
图书馆的空调不停地散发著冷气，窗外的大雨扑在玻璃墙上，显出一种沉重的压抑。
手机震了一下。
是顾清尘的信息。
“完事没？我在图书馆门口了。”
肖宿回了个“嗯”，关掉电脑，拿起伞出门。
楼门口，顾清尘撑著伞站在那里，手里拎著两个保温杯，里面装著红枣桂圆茶。
“走，去我办公室说。”
他把其中一个杯递给肖宿，“你这几天是不是又熬夜了？刘浩然跟我说，他晚上十二点路过你寢室，看你屋里灯还亮著。”
肖宿接过保温杯，没接话。
顾清尘看出他在装傻，无奈的摇了摇头，领著人往办公室去。
两人穿过雨幕，鞋底踩出一串水花。
上楼的时候顾清尘又问:“標题想好了？”
“想好了。”肖宿说。
“叫什么？”
“《基於李群轨道分类的高维非线性全局优化方法》。”
顾清尘点点头，推开办公室的门。
屋里开著灯，书架上塞满了书，桌上摊著几本翻到一半的期刊。
顾清尘把保温杯放下，拖过一把椅子坐下，拍了拍旁边的位置:“来，给我看看。”
肖宿打开电脑，把屏幕转过去。
办公室里安静下来，只有窗外淅淅沥沥的雨声。
顾清尘一行一行往下看，偶尔滑动一下滑鼠，偶尔停下来盯著某一段出神。
肖宿靠在窗边喝著茶，目光落在窗外的雨幕上。
大概过了二十分钟，顾清尘抬起头，表情有点复杂。
“你这……”他顿了顿，像是在组织语言，“你这不只是解决了一个问题。”
肖宿没说话。
顾清尘又低下头，往前翻了几页，再看几行，再翻回去。
如此反覆几次，最后他把滑鼠一放，往椅背上一靠，长长地吐了口气。
“你记不记得埃尔德什那个猜想？”
肖宿点头。
埃尔德什是普林斯顿大学的教授，国际非线性分析领域的绝对权威。
他在二十年前提出了一个关於高维非凸函数全局最优解存在性的猜想，一直没能证明。
这个猜想要是能证出来，全局优化的理论基础能往前推一大步。
顾清尘指著屏幕:“你这里面，顺手给他证了。”
肖宿“嗯”了一声。
“就『嗯』？”顾清尘笑了，“埃尔德什老爷子要是看到你这论文，估计得失眠。”
肖宿想了想:“那我加个致谢。”
顾清尘被他这话噎了一下，愣了两秒，然后笑出声来。
“行行行，你厉害。”
他站起来，走到窗边，看著外面的雨，忽然问，“投稿想好了吗？”
肖宿说:“《数学发明》吧。”
肖宿之前那篇关於有理点双曲奇点附近加权度量计算的论文，就是发在这本期刊上。
顾清尘点点头，没再多问。
他已经足够了解肖宿了。
他不是那种需要別人鼓励或者建议的类型，他做的每一个决定，都是自己想清楚了的。
问多了反而是废话。
雨小了些，变成细细的雨丝。
顾清尘定定地看著他:“那就投吧。”
肖宿点点头，“嗯”了一声。
代理模型：维数灾难，计算量爆炸。
元启发：无理论保证，收敛慢。
端到端：训练数据依赖，泛化难证。
他盯著这几行字看了很久。
都是好思路，也都在各自的赛道上做出了成果。
但肖宿总觉得，它们缺了点什么。
缺的是对问题本身结构的理解。
这些方法都是在“解”上做文章。
怎么搜索更快，怎么採样更聪明，怎么擬合更准。
但它们很少去问，这个待解的优化问题，它本身有什么內在的性质？
有没有什么是不变的？
有没有什么对称性？
就像解微分方程，你对著一个方程硬算可能算到天荒地老。
但如果能发现它是某个守恆系统的欧拉-拉格朗日方程，立刻就能用变分原理把它简化一大半。
优化问题也一样。
肖宿想起之前读过的李群和李代数的內容。
群论研究的是对称性，在某种变换下保持不变的性质。
如果一个系统具有对称性，那么它的解必然落在某些特定的轨道上。
这些轨道的结构，比整个空间简单得多。
工业场景里的那些高维耦合数据，真的完全隨机吗？
不是的。
设备的运行参数之间，一定有某种物理规律在约束。
生產流程的数据，一定有因果链条在驱动。
即使是看起来最混乱的噪声，也可能有某种统计上的不变性。
如果能找到这些不变性，用它们把高维空间“分层”“分叶”，把一个大问题拆解成一系列低维子问题的组合……
肖宿的笔尖停在纸上。
这就是他在会议室里没来得及细想的方向。
叶状结构是微分几何里的一个概念，描述如何把一个高维流形分解成若干低维的“叶子”，每片叶子內部光滑，叶子之间不相交。
他之前已经运用这个方法解决了几个课题的难点，但是没有想过运用到这个问题上。
如果能构造出这样一个结构，让优化问题的局部最优解落在不同的叶子上，全局最优解落在某片特定的叶子上，那就可以先找叶子，再找叶子上的点。
搜索空间被压缩了。
从整个高维空间，压缩到几片低维流形上。
肖宿在笔记本上写下一个词：叶状结构。
又写下另一个词：李群作用。
如果能在目標函数的定义域上定义一个李群作用，然后用群作用的轨道来分叶，那么同一个轨道上的点，必然具有某种相同的性质。
如果能证明全局最优解一定落在某种特定轨道类型上，那就可以先用群论把轨道类型分类，再在少数几类轨道里精细搜索。
理论上是可行的。
但问题也接踵而至。
首先，目標函数的结构是未知的。
如果是黑箱问题，只知道输入输出数据，怎么定义群作用？
其次，即使能定义群作用，怎么保证轨道分叶和优化问题的极值结构是兼容的？
如果一片叶子里既有高峰又有低谷，那分了也是白分。
第三，也是最难的，怎么定位全局最优解所在的那片叶子？
这需要某种“不变量”，一个在群作用下保持不变却能指示极值位置的標量函数。
肖宿在笔记本上写下三个问號，然后盯著它们出神。
窗外的蝉鸣越发响了。
图书馆里的冷气开得很足，他的指尖却微微发热。
这些问题，每一个都够想很久。
但至少，方向有了。
接下来的几天，肖宿的生活变得极其简单。
早上七点半，从寢室走到图书馆，三楼靠窗那张桌子，坐下，翻开书。
中午去食堂隨便吃点，回来继续。
傍晚闭馆，回寢室洗漱，然后去数学研究院的那间小办公室，继续待到深夜。
办公室白板上的字跡从零散变成密集，又从密集被擦掉重来。
然后，他在白板上画了一个简单的二维测试函数。它有两个驼峰，一个高一个低，全局最优解就在矮的那个上。
他试著用自己设想的方法构造叶状结构，但是失败了。
分叶的唯一性保证不了，同一个点能分到不同叶子上，后续的优化结果跟著乱跑。
之后，他从图书馆借来一本《黎曼流形的叶状结构理论》，翻到后半部分，重新研究“叶状结构的正则性”那一章。
“要保证叶状结构唯一，需要定义一个在流形上处处非退化的可积分布。”
肖宿盯著那行字看了很久，然后在白板上加了一行公式。
用李代数的结构常数来构造这个分布。
然后他又借了《李群作用下的动力系统》，读到“轨道类型分解”那一节时，他停了下来。
这一章写到，如果李群的作用是光滑的，那么流形上的点可以根据迷向子群的共軛类来分类，每一类构成一个光滑子流形。
这些子流形，就是轨道的“型”。
肖宿的脑海里闪过一个念头。
迷向子群，固定某个点的那些群元素构成的子群。
不同的点，可能有不同类型的迷向子群。
如果能证明，全局最优解的迷向子群类型是唯一的，或者至少是罕见的，那就可以反过来，先找所有可能的迷向子群类型，然后只搜索那些可能包含全局最优的类型。
这个想法比他之前设想的“不变量”更精细。
不变量是標量函数，太粗了。
迷向子群类型是代数结构，信息量大多了。
他立刻在笔记本上把这个思路记下来，然后开始推导。
之后，他用了一整个上午来验证这个思路在简单例子上的可行性。
他先构造了几个低维的测试函数，每个函数都定义一个简单的李群作用，即旋转群或者平移群。
然后他计算每个点上的迷向子群，分类，再对比这些分类和函数极值点的分布。
结果比他预想的要好。
在旋转对称的函数上，全局最优点恰好是迷向子群最大的那些点，也就是旋转对称性最高的点。
在平移对称的函数上，全局最优点落在迷向子群平凡的轨道上，也就是没有任何对称性的点。
两种极端，但都有规律。
肖宿靠在椅背上，看著白板上密密麻麻的推导，长长地呼出一口气。
可行。
至少在简单例子上，可行。
接下来要做的，是把这套方法推广到一般情况。
需要证明存在性，需要给出构造算法，需要分析计算复杂度，需要验证在高维非线性系统上的表现……
事情还很多。
但最难的关口，已经过了。
肖宿站起身，活动了一下有些僵硬的肩膀。
接下来几天，肖宿沿著这个方向不断思考，终於在一个雨天写完了最终的论文。
他靠在椅背上，盯著屏幕上那篇三十七页的文档，发了几秒钟的呆。
图书馆的空调不停地散发著冷气，窗外的大雨扑在玻璃墙上，显出一种沉重的压抑。
手机震了一下。
是顾清尘的信息。
“完事没？我在图书馆门口了。”
肖宿回了个“嗯”，关掉电脑，拿起伞出门。
楼门口，顾清尘撑著伞站在那里，手里拎著两个保温杯，里面装著红枣桂圆茶。
“走，去我办公室说。”
他把其中一个杯递给肖宿，“你这几天是不是又熬夜了？刘浩然跟我说，他晚上十二点路过你寢室，看你屋里灯还亮著。”
肖宿接过保温杯，没接话。
顾清尘看出他在装傻，无奈的摇了摇头，领著人往办公室去。
两人穿过雨幕，鞋底踩出一串水花。
上楼的时候顾清尘又问:“標题想好了？”
“想好了。”肖宿说。
“叫什么？”
“《基於李群轨道分类的高维非线性全局优化方法》。”
顾清尘点点头，推开办公室的门。
屋里开著灯，书架上塞满了书，桌上摊著几本翻到一半的期刊。
顾清尘把保温杯放下，拖过一把椅子坐下，拍了拍旁边的位置:“来，给我看看。”
肖宿打开电脑，把屏幕转过去。
办公室里安静下来，只有窗外淅淅沥沥的雨声。
顾清尘一行一行往下看，偶尔滑动一下滑鼠，偶尔停下来盯著某一段出神。
肖宿靠在窗边喝著茶，目光落在窗外的雨幕上。
大概过了二十分钟，顾清尘抬起头，表情有点复杂。
“你这……”他顿了顿，像是在组织语言，“你这不只是解决了一个问题。”
肖宿没说话。
顾清尘又低下头，往前翻了几页，再看几行，再翻回去。
如此反覆几次，最后他把滑鼠一放，往椅背上一靠，长长地吐了口气。
“你记不记得埃尔德什那个猜想？”
肖宿点头。
埃尔德什是普林斯顿大学的教授，国际非线性分析领域的绝对权威。
他在二十年前提出了一个关於高维非凸函数全局最优解存在性的猜想，一直没能证明。
这个猜想要是能证出来，全局优化的理论基础能往前推一大步。
顾清尘指著屏幕:“你这里面，顺手给他证了。”
肖宿“嗯”了一声。
“就『嗯』？”顾清尘笑了，“埃尔德什老爷子要是看到你这论文，估计得失眠。”
肖宿想了想:“那我加个致谢。”
顾清尘被他这话噎了一下，愣了两秒，然后笑出声来。
“行行行，你厉害。”
他站起来，走到窗边，看著外面的雨，忽然问，“投稿想好了吗？”
肖宿说:“《数学发明》吧。”
肖宿之前那篇关於有理点双曲奇点附近加权度量计算的论文，就是发在这本期刊上。
顾清尘点点头，没再多问。
他已经足够了解肖宿了。
他不是那种需要別人鼓励或者建议的类型，他做的每一个决定，都是自己想清楚了的。
问多了反而是废话。
雨小了些，变成细细的雨丝。
顾清尘定定地看著他:“那就投吧。”
肖宿点点头，“嗯”了一声。