顺畅稳定的抓取是网站获得搜索用户、搜索流量的重要前提,影响抓取的关键因素。
URL中的参数放置,需遵循两个要点:
√ 参数不能太复杂;
√ 不要用无效参数,无效参数会导致页面识别问题,页面内容最终无法在搜索展示
另外,很多站长利用参数(对搜索引擎和页面内容而言参数无效)统计站点访问行为,这里强调下,尽量不要出现这种形式资源,例如:
https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3
或者:
http://nmtp.test.com/;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight