其原因就在于，如果在CGI中提供了“无穷”数量的URL，那么SPIDER往往就会因为对这些“无穷”网页的检索而被牢牢套住，陷入死循环。这就是所谓的蜘蛛陷阱(spider traps)。数据库程序对SPIDER亦有可能创建一个与此类似的情形。因而为避开可能的陷阱，Spider对于那些带有符号“?”的URL中的“?”之后的字符一概不予读取。
　　倘若Spider被你的服务器套住，不只是对Spider本身不妙，Spider对你网站页面的重复访问请求也会导致你的服务器系统彻底瘫痪。
动态网页的优化方案：
　　以http://www.americanbooks.com/cgi-bin/items.cgi?name=naturaldiet 为例：从其URL中我们可以看出，它表明网站americanbooks.com中提供有天然减肥产品相关的内容。遗憾的是，由于Spider不支持动态生成页，从而导致了该动态页上的相关内容无法得到搜索引擎的索引。假设现在有一个竞争者，他也有一个与天然减肥产品类似内容的网页，但由于他的网页是静态页面，所以能够得到搜索引擎的索引。那么可想而知，那些搜索“天然减肥产品”的用户最后访问的会是谁的网站。而且，就算americanbooks.com上提供的具体内容比它的竞争者再好又能怎样呢？就因为它无法出现在搜索引擎的搜索结果中，所以只能把网上销售的好机会拱手让给他的竞争者了。

　　对这个问题的解决方案可以遵循一个思想：即更改动态网页的URL，使URL中不再包含符号“?”“=”和其它类似的符号，看起来象一个静态的URL。
不同程序开发的动态页的不同解决方案：
• CGI/ Perl

　　如果你在网站中使用的是CGI或者Perl，可用一个脚本拾取环境变量前的所有字符，再将URL中剩余的字符赋值给一个变量。这样，你就可以在URL中使用该变量了。

　　路径信息(或脚本名称)是动态应用程序中的一个变量，该变量包含了完整的URL地址和环境变量信息。这样，脚本就从路径信息变量中获取环境变量前的字符，并将剩余字符代入一变量。

　　不过，对于那些内置了部分SSI(Server-Side Include：服务器端嵌入)内容的网页，主要的搜索引擎都能够提供索引支持。那些以.shtml为后缀名的网页也被解析成SSI文件，相当于通常的.html文件。但如果这些网页在其URL中使用的是cgi-bin路径，则仍有可能不被搜索引擎索引。
• ASP

　　ASP(Active Server Pages: Web 服务器端动态网页开发技术)被用于基于微软的网络服务器中。使用ASP开发的网页，一般后缀名为.asp。ASP 由于其简单功能实用等方面受到广大朋友的喜欢，再加上微软的强大支持，可说是时下网页开发最为流行的语言之一。只要避免在URL中使用符号“?”，大多数搜索引擎都能够支持用ASP开发的动态网页。

　　那么对用了“?”的URL怎么办呢？针对这个问题，有家名叫“Exception Digital Enterprise Solutions”的公司推出了他们的解决方案 –xqasp。这是一个升级软件。它允许将URL中的符号“?”通过网络服务器转换为“/”。更多相关信息请访问：http://www.xde.net/products/product_xqasp.htm 还有一些价格相对低廉一些的解决方案，象ASPSpiderBait和

上一页  [1] [2] [3] [4] 下一页