|优化 | 大规模锥优化之Splitting Conic Solver(SCS)

『运筹OR帷幄』原创
作者：门泊东吴
编者按
介绍一个基于ADMM的求解大规模锥优化问题的分布式算法：Splitting Conic Solver(SCS) ，以及其中用到的Homogeneous Self-Dual Embedding 。
优化领域小学生来报道，我之前写过一篇文章，介绍了多核学习(Multiple Kernel Learning)中的优化问题，主要是convex QCQP(quadratically constrained quadratic program)和SDP(semidefinite program) ，有朋友私信和我讨论具体怎么解这些QCQP和SDP ，因为如果problem size很大，这些问题其实并不好解。在原paper[1]里，作者只是把MKL问题建模成了这些优化问题，并没有探讨太多具体的解法，因为这不是他们主要的contribution；我check了一下他们的numerical experiment ，几个从UCI repository扒的data set都不大，几百的training data ，几十的attribute ，他们的SDP是调用SeDuMi解的， QCQP/SOCP (Second Order Cone Program)是调用Mosek解的，当然[1]是一篇04年的paper了。
一般来说，越是大规模优化问题(Large-scale Optimization Problem)就越是会有结构，这个结构，从分布式优化角度理解，更多指的是可分解结构(Separability Structure) ，就是“能拆” ，比如能写成很多term的summation等等，没有可分解结构的大规模优化问题，个人理解，设计算法的难度就会增大。
求解large-scale SDP的分布式算法，比如[2]和[3] ，都是针对有特殊结构的SDP的，有一篇分布式算法求解non-convex QCQP的paper[4] ，也让我印象深刻，它是基于consensus ADMM的思想，把m-constraint QCQP拆成m个1-constraint QCQP ，很有意思。这篇文章想给大家介绍一个基于ADMM的求解大规模锥优化问题的分布式算法：Splitting Conic Solver(SCS)[5] ，也是Stephen Boyd团队的software之一， github地址：https://github.com/cvxgrp/scs 。其实在读这篇paper之前，我自己就盲猜了猜， ADMM怎么解大规模锥优化，不就还是用Boyd那两本小册子的东西嘛：先用ADMM[6]把objective function和constraint拆开，然后往各种cone上面的projection去他那本Proximal Algorithms[7]的第6章找；结果看完后，我发现我想错了，大错特错，图样图森破，在这个算法里， ADMM(Operator Splitting)根本就不唱主角，真正的C位应该给这个Homogeneous Self-Dual Embedding(好像也不是他们的原创？比如叶老师的paper[8]里也有) ，真的很妙、很香，它：1. 能用来判定锥优化问题的infeasibility、unboundedness(对一个solver来说，这个功能相当重要)；2. 能极大地简化算法的迭代步骤，值得我为它专门写一篇文章记录一下，也希望大家以后再提到这个算法，不要再说什么''ADMM解conic'' ，应该说''Homogeneous Self-Dual Embedding解conic'' 。学艺不精，一知半(不)解，欢迎大家批评指正。
【|优化 | 大规模锥优化之Splitting Conic Solver(SCS)】
一、问题描述

本文插图

1.1 Optimality Condition

本文插图

最后一个complementary slackness condition可以被等价地替换成括号里的条件。
1.2 Certificates of Infeasibility

本文插图

2. Homogeneous Self-Dual Embedding

|优化 | 大规模锥优化之Splitting Conic Solver(SCS)

推荐阅读

在京举行|中国作协“纪录小康工程”研讨会在京举行《驻村笔记》等16部作品获推荐

**交易|交易异动！*ST中天：不存在应披露而未披露的事项**

怎样写作文开头结尾优美句子大全

小玩意儿|满清抬枪有欧洲亲戚？欧洲到北美，德意志猎兵把它当18世纪大狙

「怪咖侃历史」雍正继位明白父亲苦心，康熙帝临终前给重臣隆科多赐下的两道圣旨

花胶鳘鱼胶的区别,鱼胶的好处--

赵磊|前一秒还和富豪聚餐吃饭，后脚就进了医院，马伊利这是怎么了

复活节的来历及意义

医药行业知识■甘孜搞定腹腔镜胃穿孔修补术了！四月飘雪成都市第二人民医院情暖“传帮带”

「日本」日本下届首相浮出水面，宣言轰动全境，民众沸腾：国家已无未来

地道战观后感地道战观后感400字

阿宁侃侃侃|穿出时髦个性的俏皮感，双色拼接连衣裙新潮时尚

老同子红茶,云南七子饼茶黄印好吗

基因变体致60岁以下新冠患者病亡率加倍

江苏同曦|单节7记三分！广东三分雨投晕同曦，胡明轩单节3中3，太准了

给孩子的神话就像给他们合适的食物——四年级中国神话板块总结

【中新网】印度新德里空气污染持续泰姬陵附近设移动净化器

印巴军队克什米尔地区彻夜激战印军3死4伤

「欠薪」事关近3亿人工资！国家出手了

印度|印度称研发出100%国产5G 业界人士：实际是诺基亚爱立信零部件组装