headers={‘use-agent’:‘chai🞀👂knowstheb⛂🗩ot’，}
r=requests.gets“
html=r.text
printhtml
难怪说3月份的时候，北科有两个🁁🂴📁计算机系的大学生被开除了。💤📲
这技术好像是不太难。
因为大四写论文，可用谷歌、百度、微点等搜索引擎，却搜不到别人写的相关论文。怎么🞹🙁办？就有计算机系的学生，自己🖱🖗写🃗🗸☰了段爬虫算法。
然后成功的爬取到了几百篇相关论文。
接下来就好办了，摘抄、重组、整合。
如果查重🌧🁛不过关，也简单，用谷歌翻译，先汉译英、再英译汉。再🚤🕙人工地把句子整理通顺，查重就顺利通过。
可能是北科的💝💳🕷创业环境被周不器给🁁🂴📁带起来了，那俩大学生就有了通过技术牟利的心思，玩起🇻🝬🎐了帮同学写论文的生意。
被发现后，俩人都被开除了。
要不是周不器出面力保，上缴了非法所得，并安排到了校内网🕰工作，他俩说不定就要蹲监狱了，前程就🁻🖥全毁了。
王小船接着说：“这是静态🏏🙆网站的爬取，如果是优酷、朋友网的这种动态页面，算法会相对复杂。可不管怎样，这都是很基础的工具。我们做搜🝧🍣索引擎，难点已经从复杂性变为规模量了。🏼”
周不器皱皱眉，“老👉🕟马……就是阿里的⛙🚱🗏那位。他跟我说，要屏蔽百度对淘宝的爬虫，怎么回事？”
王小船笑道：“这事也简单，爬虫和网站之间有一个爬💄🏖🚁取协议，业内叫robot协议。这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度，只需要把百度的爬虫加到🂁🞑黑名单里就行了。”
“嗯！”
周不器点了点头。
这就是他想要的答案。