1、在搭建网站结构、制作URL时,尽量避开非主流设计,追求简单美即可, 越简单越平常越好;
2、不建议URL中含有中文字符,中文字符容易出现识别问题;
3、URL长度要求从www开始到结束,总长度不超过1024个字节;
4、避免无效参数;
5、谨慎使用#参数,有可能会被爬虫截断,导致井号后面的url字符不生效,最终效果是网页抓取失败;
6、避免出现太多无效目录,目录不宜过深,否则会影响链接层级计算。
1、在搭建网站结构、制作URL时,尽量避开非主流设计,追求简单美即可, 越简单越平常越好;
2、不建议URL中含有中文字符,中文字符容易出现识别问题;
3、URL长度要求从www开始到结束,总长度不超过1024个字节;
4、避免无效参数;
5、谨慎使用#参数,有可能会被爬虫截断,导致井号后面的url字符不生效,最终效果是网页抓取失败;
6、避免出现太多无效目录,目录不宜过深,否则会影响链接层级计算。