白交 衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
首个AI程序员，演示视频大幅度造假？？？
不久之前震撼硅谷的Devin，再度震撼硅谷——但这次是被打假 。
事情是这样的：油管程序员博主Inte.NET of Bugs（以下简称光头哥）对Devin的视频进行了逐帧分析，逐一举证说明了Devin并不如演示中那般神奇 。
文章插图
甚至有“自己现写bug然后当场修复”的骚操作 。
其它“罪证” ， 包括但不限于：
- 号称能解决任何Upwork任务，但演示中解决的问题并不是prompt要解决的那一个，做无用功；
- 看起来在修复bug，实际上修复的bug人类程序员根本就不会犯；
- 没有意识到简单两步就能解决问题，花里胡哨一顿操作，其实是自己把任务搞复杂了；
- 修改代码的水平一言难尽 。
啊这这这，真是好、大、一、口、瓜！
要知道 ， 其背后公司Cognition AI手握10块IOI金牌的活招牌，还在推出Devin当月宣布成功融资2100万美金 。
推特和YC上已经吵翻天了，让这件事的讨论度高居不下 。
我请问呢？真的很讨厌演示造假 ， 让demo看起来轻松达到意料之外的技术进步 。
文章插图
还有人表示自己很受伤，再也不会相信各种冒出来的创业公司的东西了 。
emmmm……我还是把期待值全部留给OpenAI、Anthropic、DeepMind、FAIR这些公司和机构吧 。
文章插图
完整详情，一起接着往下看 。
35年从业者逐帧验证
此次出来声张正义的光头哥 ， 从事软件行业已经35年 。他首先声明自己的立?。何也⒉环炊愿呖萍? ，但我确实反对过度炒作 。
他自己也经常使用Github Copilot、ChatGPT、LIama2、Stable Diffusion 。
事实上，在Devin刚推出时候，他就反对过“世界上第一个AI软件工程师”这一说法 。
文章插图
此次则主要针对的是一些更为具体的说法 。
【首个AI程序员造假被抓，Devin再次“震撼”硅谷！扒皮视频文字详解附上】比如之前Devin号称能够靠处理upwork任务来赚钱的 。但在真正的演示中Devin并没有做到这一点 。
不信？没关系，光头哥带着逐帧的证据来了 。
总结如下：
- Devin所处理的任务并非随机，而是精心挑?。?
- 与客户实际需求有很大的出入；
- 实际操作过程，数次自己创造bug然后再修复；
- 很多毫无意义的操作，相当于几十年前在C语言中才用的方法；
？？？
文章插图
再来看客户给到的具体需求 。真正需求为“我想要利用这个库来进行推理 。你需要提供详细的操作指南 。我不想讨论完成这项工作预计需要的时间 。”
文章插图
但给到Devin的需求却是：我希望利用这个模型在这个库中进行推理 。请自己弄明白 。
文章插图
最后视频末尾出现的Devin生成报告中，也没有提及客户实际需要的内容 。
文章插图
那么，这份工作的最终交付成果应该包括什么呢？
文章插图
但Devin实际做了什么？
Devin第一次真正的尝试，是它修改了一个名为requirements.txt文件,其中规定了代码所依赖的库版本 。视频中提到它正在更新代码，但实际上更像是修改配置文件 。
文章插图
然后根据需求，需要Devin能建立自己的推理能力，并仅需使用样例数据即可 。但实际项目要比这个复杂得多 。
推荐阅读
- 网络空间不容造假引流的剧本横飞
- 雷军：10年编程路，给程序员的几点建议
- 公然造假？北京“半马冠军”疑遭保送：3名外籍选手演技拙劣！
- 全网首个粉丝破亿的女主播即将出现
- AI程序员上岗 垂类大模型应用迎来井喷期
- 首个AI程序员上岗，码农们暂且不必过度焦虑
- 明星造假太猖狂，学历、身材、脸蛋、年龄，没一样是真的！
- 王子文成都录制综艺，个子矮小身材五五分，被疑身高造假不足150
- 又反转！凯特王妃露面视频被质疑造假，服装发型与七年前一模一样
- 塔吊证二维码可以扫出来是真的吗 塔吊证上的二维码能造假吗