首个AI程序员造假被抓，Devin再次“震撼”硅谷！扒皮视频文字详解附上( 二 ) _AI程序员

结果很快，Devin就遇到了第一个命令行错误——打开图像失败、文件未找到、无此文件或目录等。但在光头哥实际复现时并没有出现，结果研究发现，代码仓库压根就不存在这个文件。
这相当于Devin自己创建了个bug ，然后再修复bug 。在接下来的操作中， Devin经历了很多次这样的“自建自修” 。
不能说十分有用，只能说完全没有必要。
接下来，再来看看代码库中这样一个readme文件。正如视频所展示的那样，readme文件清晰地说明了该文件的功能和用法。在页面右侧,甚至还有一个小按钮，点击它就可以复制整条命令，然后粘贴到命令行窗口中，按下回车即可运行。
但Devin完全没能理解，而又是自创了个项目。而写的那段从缓冲区读取数据的代码十分糟糕。

文章插图
于是光头哥发出了灵魂拷问：

这不就是几十年前在C语言等中才用的方法吗？？？

这种做法显然已经过时，正常人用Python/ target=_blank class=infotextkey>Python谁还会再写这个代码。这种代码很难调试，它逻辑复杂，难以理解，很容易出现细微的错误。
此外，代码库中还存在一个真正的错误，但Devin既没有发现也没有修复。
然后光头哥用谷歌搜索，按照GitHub 上一条相关评论修改了代码，只花了1分07秒，问题就解决了。
最终光头哥总共花了35分55秒复现了Devin的工作，而Devin实际花了多长时间呢？
如果细看视频Demo ，就会发现Devin处理工作前后有6个小时20分钟的间隔。
视频的前部分显示的是3月9日下午3：25 的时间戳，但后半部分却显示的是当天晚上9：41 。

文章插图
而逐帧细看就有会发现一些奇怪且毫无意义的操作。
比如head -N 5 results.json | tail -N 5这个命令，它表示取这个JSON 文件的前五行，然后再取这些行的最后五行。
正确的做法应该是”head-5 results.json” 。那个-N 是多余的。只要说 -5 就可以，不需要那些多余的东西。
最后光头哥锐评，AI现在生成的内容有很多都十分愚蠢，反倒会让事情变得更为复杂。
当看到它的任务列表时，会觉得：哇，Devin做了很多事情。但实际上可能并非如此。
网友：至少掌握了看起来很忙的技巧
对于此次Devin造假翻车，不少网友对现阶段AI产品炒作嗤之以鼻。

我真的很讨厌现在演示造假变得如此正常化

文章插图
甚至还列出了三大炒作典范：Devin、rabbit、Humane 。

文章插图
也有网友调侃：Devin至少掌握了看起来很忙的技巧。

文章插图
嗯？打工人有被内涵到。
不过也有一些支持的网友，比如这位沃顿商学院的教授Ethan Mollick 。
他声称自己有早期访问权，在体验中发现真的很有趣。

文章插图
他认为现在将Agent视作“炒作”为时尚早，未来几个月Agent的能力将十分强大。
号称“世界首个完全自主的AI软件工程师”
有意思的是，演示造假事件爆出来的时间，距离Cognition AI推出Devin仅过去了一个月。
咱们一起来回顾一下。
一个月前的3月13日，Cognition AI在推特上介绍了自家推出的Devin，并称其为“世界上首个AI软件工程师” 。
只需一句指令，它可端到端地处理整个开发项目。