当前位置:首页 >> 站长天地 >> SEO优化 >> 内容

模仿 Googlebot 机器人抓取你网页的代码

时间:2009-10-16 8:22:00 栏目:SEO优化 点击: 来源:不详

 [SEO优化]-本文简要:Google 网站管理员工具刚刚发布了一个 Labs 功能,其中有个功能叫做 Fetch as Googlebot ,你可以在这里模仿googlebot,查看你自己的网页代码。不过这个功能是必须通过管理员验证的网站才能查看,没有网站管理权限就没机会了。而在这个 Labs 功能下面还有一个查看恶意软件...
D6电脑网 (d6pc.com): 模仿 Googlebot 机器人抓取你网页的代码-SEO优化

Google 网站管理员工具刚刚发布了一个 Labs 功能,其中有个功能叫做 Fetch as Googlebot ,你可以在这里模仿googlebot,查看你自己的网页代码。不过这个功能是必须通过管理员验证的网站才能查看,没有网站管理权限就没机会了。

而在这个 Labs 功能下面还有一个查看恶意软件的细节功能,自动侦测。

Fetch as Googlebot

在这个功能下,你可以查看任何你自己站点页面代码,通过 Google 机器人的视角,好好的审视自己的站点。操作过程很简单,只要点击 Labs 打开功能,点击 Fetch 按钮查看,等待google机器人的处理,几秒钟后,再刷新一下就可以看到结果了。

有朋友奇怪了,这和我们平时看网页的源代码有什么不同呢? 为什么要麻烦蜘蛛再来一次,而且必须在网站管理员工具中查看

  • 首先你坑看到Http的头信息,这个信息可以通过 Live HTTP Headers 等工具查看到,但是直接查看源代码是看不到的,见上图中最顶部,相当于有个小探针,帮你查看更多的服务器信息和其他相关信息。
  • 其次你可以比较蜘蛛看到的信息和人看到的信息有什么不同。这个工具用的是和 Google 抓取网页的那个Googlebot 及其人一样的IP,一样的方式,一样的 user-agent,如果你在不知情的情况下被人进行了代码修改,在蜘蛛下和人为下看到的代码不一样(英文叫clocking),就可以靠这个工具来检 查了。
  • 还有你可以用这个工具测试一些变化,比如重定向。

在这个工具中你还能发现一些额外的东西,比如 javascript 能被 googlebot 抓取

我没有flash站,有的朋友也可以看看flash在googlebot中是什么样子的。

目前测试发现Google机器人只能抓取前100000字节的内容,有人就会觉得网页文件最好不要超过这个大小,还有人说做链接不要放在底部。其实这个没关系,这个只是工具的作用,跟真实的Googlebot机器人还是有一定差距,你看看新浪的首页,肯定不止100KB

小知识:什么是Cloaking?

通常是说在Web服务器上使用一定的手段,对搜索引擎中的巡回机器人显示出与普通阅览者不同内容的网页。

现象1:为了提高在搜索引擎中的名次,不自然地大量向网页中输入关键字,使其不展现给普通用户,单是选择性地发给搜索引擎的一种手法。

现象2:黑链,今年就流行黑客了。当然,普通黑客的所谓黑链,人可以直接在源代码里看出来,但若有高手用了cloaking,那就不得了。 (据传搜索引擎会对cloaking的网站进行严惩)

小知识:如何测试我的重定向?

用这个工具测试的话,就不用再去等待 Google 重新收录你的网站,比如我们给www.002pc.com 做了重定向,自动跳到www.j007.com,你就可以通过这个工具了检测是否顺利了。




D6电脑网|电脑学习,电脑维修,电脑技术网;
设电脑学习,电脑入门,电脑技术,电脑教程,电脑维修,硬件知识,
网页设计建站,桌面壁纸,主题下载,WIN7下载,常用软件下载等栏目。感谢您的支持!
栏目:SEO优化 作者:佚名 来源:不详
共有评论 0相关评论
发表我的评论
  • 大名:
  • 内容:
本类推荐
  • 没有
本类固顶
  • 没有
网友推荐
链接申请
  • D6电脑网(www.d6pc.com) © 2019 版权所有 All Rights Reserved.
  • 本站为纯技术学习交流型网站,部分资源来源网络,仅供学习交流,版权归原作者,本站仅为转载,如有侵犯您的利益请联系我们删除.谢谢!
    关于D6电脑学习网 广告合作 419807867@QQ.COM 联系站长 网站地图 粤ICP备09035016号
  • 摆脱浅薄和低俗的最好办法就是学习,我们加油!D6PC! V3.0