【科技刀】Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面,7

【【科技刀】Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面,7】机器之心&ArXivWeeklyRadiostation
参与:杜伟 , 楚航 , 罗若天
本周的重要论文包括MIT韩松团队提出的GAN通用压缩方法 , 以及西湖大学登上《Science》封面的新冠病毒研究 。
目录:
GANCompression:EfficientArchitecturesforInteractiveConditionalGANs1stPlaceSolutionsforOpenImage2019-ObjectDetectionandInstanceSegmentationStanza:APythonNaturalLanguageProcessingToolkitforManyHumanLanguagesNaturalLanguageProcessingandTextMiningwithGraph-StructuredRepresentationsCircleLoss:AUnifiedPerspectiveofPairSimilarityOptimizationStructuralbasisfortherecognitionofSARS-CoV-2byfull-lengthhumanACE2JuliaLanguageinMachineLearning:Algorithms,Applications,andOpenIssuesArXivWeeklyRadiostation:NLP、CV、ML更多精选论文(附音频)论文1:GANCompression:EfficientArchitecturesforInteractiveConditionalGANs
作者:MuyangLi、Jun-YanZhu、SongHan等论文链接:https://arxiv.org/pdf/2003.08936v1.pdf摘要:生成模型GAN是机器学习领域里最为重要的发展方向之一 。 但这类算法需要消耗巨量算力 , 大多数研究者已经很难得出新成果 。 近年来 , 这一方向颇有被大型机构垄断的趋势 。 但近日 , 来自麻省理工学院(MIT)、Adobe、上海交通大学的研究者提出了一种用于压缩条件GAN的通用方法 。 这一新技术在保持视觉保真度的同时 , 将pix2pix , CycleGAN和GauGAN等广泛使用的条件GAN模型的计算量减少到1/9~1/21 。 该方法适用于多种生成器架构、学习目标 , 配对或非配对设置 。 GAN压缩后的具体性能如何?在研究者们展示的Demo中 , 使用CycleGAN为视频中的马添加斑马条纹所需的算力不到1/16 , 帧数提高了三倍 , 而且效果还有所提升 。 值得一提的是 , 该研究所使用的硬件平台是英伟达的边缘AI计算芯片JetsonXavierGPU 。 根据官方公布的数据 , JetsonXavier的INT8算力为22+10TOPS , 骁龙865则是15TOPS 。 压缩后的GAN现在看来已经可以跑在机器人、无人机等小型设备上了 , 未来塞进手机指日可待 。
【科技刀】Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面,7
文章图片
文中CAN压缩方法的整体架构图 。
【科技刀】Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面,7
文章图片
Cityscapes、Edges→Shoes以及Horse→Zebra数据集上效果比较 。
【科技刀】Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面,7
文章图片
在NVIDIAJetsonAGXXavier、NVIDIAJetsonNano、1080TiGPU和XeonCPU上测到的内存和延迟下降 。 推荐:GAN也可以大幅压缩 , MIT韩松团队的最新研究让众多研究者们为之一振 。 论文2:1stPlaceSolutionsforOpenImage2019-ObjectDetectionandInstanceSegmentation
作者:YuLiu、GuangluSong、XiaogangWang等论文链接:https://arxiv.org/pdf/2003.07557v1.pdf摘要:在本文中 , 来自港中文、南洋理工以及港大等的研究者提出DecouplingHead(DH) , 它通过自学习的最佳特征提取来解耦目标分类和回归 , 从而带来巨大的性能提升 。 此外 , 他们将soft-NMS算法调整为adj-NMS , 以获得稳定的性能提升 。 最后 , 通过voting确定边界框的位置和置信度 , 进而提出了一种设计合理的集成策略 。 此外 , 研究者还将介绍几种训练/推理策略以及一些稍作改进的技巧 。 鉴于这些细节 , 他们训练和集成了28个具有不同backbone、head和3+2专家模型的全局模型 , 并在OpenImage2019目标检测挑战赛上的公开和私有排行榜上排名第一 。
【科技刀】Papers|韩松、朱俊彦等人提出GAN压缩法;西湖大学登Science封面,7


推荐阅读