google百度几乎能实时索引到知乎这种动态js网站的内容,是咋做到的,是知乎主动提交的

google的爬虫真的能执行javascript。。。。。百度的我不太清楚,应该不能。另外主动向搜索引擎提交内容列表是可行的,不少搜索引擎也有着这样的API。
■网友
暂且不提Google能否执行Javascript,就来谈谈。的回答虽然需要点击展开,但是内容是已经加载在页面里的,不需要执行Javascript就可以读取。另外有类似于/question/xxx/answer/xxx这样的页面,不仅是利于访问单个回答,也是利于搜索引擎抓取的。关于如何监视网站增量,不了解。
■网友
根本不需要什么黑科技,这样的网站最好爬了,所有的问题都在【根话题】下面,逐个遍历就行了。
■网友
当你使用google浏览器的时候,已经提交了


    推荐阅读