不连贯的连接操作 |
发布时间: 2012/6/20 21:25:39 |
在建立连接的同时,我们必须小心的思考如何命名他们,搜索引擎是不可能和我们一样有判断的标准,爬虫更多的是以URLs为评判标准,有时两段不同的连接代码却同时指向一片内容,这是爬虫可能开始迷糊了,虽然我们明白其中的逻辑。但考虑到寄人篱下的缘故,我们还必须让爬虫也明白。 为了避免指示信息的错误,我们必须有连贯的连接。如果你的网站有这样类似的疏忽,就使用301跳转重新定义新的内容,让爬虫明白你的连接代码。 本文出自:亿恩科技【www.enkj.com】 |