爬虫协议是一个君子协议。
百度和微点说：🞞“同行们，我把你们加黑名单了，不许来爬取我们的内容了。”然后，同行们就遵守约定，就⚎🐓不爬取了。
这是一个承诺屏蔽，而不是技术屏蔽。
也就是说，就算加黑名单了，也可以🚡利🅪用技术绕开协议，强行爬取。
那些搜索引擎都是正规公司正规网站🚡，都会遵守君子协议。国内正规企业不遵守的案例，也就是360爬取百度百科的内容了。
盗版网站才不管这些。
这是非法网站。
这伙人连法律都不遵守，会遵守君子协议？
直接绕开协议，强行🃗🗺爬取。就可以🐄很容易地把正版网站上的付费内容，爬取到盗版网站中来。
现在的问题是，网站的⛈😘技术不够，不能利用技术反爬虫。奢望🕵🍺加入黑名单遵守君子协定是不可能的。
可是，紫微星有！
郭鹏飞自信满满的说：“这都是小意思，如果想技术性的反爬虫，咱们这边搞个技术小组，一周就能解决。🁸💥问题是，有没有这个♤必要。”
张一明皱皱眉头，“现在的情况有点复杂。头条文学的内容，除了在自家网站上，也会在今日头条的频道里出现。这没问题，都是紫微星的集团渠道。可问题是，第三方渠道怎么办？咱们已经运作好了，要把头条文学的推广到搜🂴狐读书频道、企鹅读书频道和网易读书频道。”
郭鹏飞点了点头，“问题就在这，第三方🙿平台不可控。”
就算自家的平台技术强大，能够反爬虫。
可把内容授权给第三方平台后，第三方平台技术不够，就直接拉跨。盗版网站直接去第三方平台抓🐤🁸取内容了。
随着网络文学的兴起，⛈😘这种第三方正版平台，只会越来越多。
前世就是这样。
当反爬虫技术成熟化，正版网站都🐄能屏蔽盗版网站的爬虫了。盗版的内容来源，都是去第三方🜗🂐🍾网站上抓取。