8月31日消息，随着人工智能技术的迅猛发展，曾经用于搜索引擎索引的网络爬虫现在被用于收集训练数据来开发人工智能模型。