微信突然出BUG!那種資源全被看光,目前無解

語言: CN / TW / HK

微信最近動作頻頻,除了日常的更新功能上新,小雷還發現了一個「漏洞」。

微信居然放開限制,把自己的robots.txt檔案給移除了...

事情是這樣的,小雷因為工作(摸魚)需要,經常要在各大搜索引擎輾轉,以求搜到自己想要的資料。

如果是英文資源還好說,海外的網頁適用性依然很強,用谷歌和bing等搜尋引擎,一般都能搜到結果。

但如果要搜的是中文資源,不好意思,搜尋突然就不好用了。

即使是像百度、谷歌和bing這種頂級搜尋引擎,也難以施展拳腳。

想要搜到自己需要的東西,估計是越來越難嘍。

不過奇怪的是,而搜尋引擎本身並無大改,抓取規則和原理都沿襲多年,期間也就小修小補。

為啥現在就不好使了呢?

小雷想說,這確實不是搜尋引擎的鍋,都怪軟體廠商們畫了個圈圈,把自己圍起來了。

舉個簡單的例子,微信公眾號的文章相比某些平臺,整體質量確實要更高。

但是嚯,你能在百度和谷歌搜到微信公眾號和今日頭條的文章嗎?

搜不到吧,很藍的啦。

原因其實很簡單,平臺不允許搜尋引擎去爬取它們的文章和其他內容了。

再強的搜尋引擎也得靠網路蜘蛛去爬取資訊,當平臺建起一堵牆,就能輕易把第三方搜尋隔絕開來。

大夥也別以為這堵牆有多高技術含量,其實就靠小雷開頭提到的robots.txt檔案。

這個簡單的檔案,裡面包含了一系列規則,它會告訴搜尋引擎,哪些頁面可抓取,哪些頁面又不能抓取。

要是規則一片空白,就別怪搜尋引擎一頓搜刮了。

反之,如果規則清晰明瞭,寫著“禁止讀取”,搜尋引擎自然會識趣溜走。

喏,微信就在網站“weixin.qq.com”的根目錄中放置了這個檔案,並寫上自己的規則。

而小雷通過網際網路檔案館看了一下,微信的規則比較狠,直接在末尾寫上一條“ Disallow:/ ”。

給小夥伴們翻譯一下,這規則的意思是,不讓其他搜尋引擎爬取微信任何文章...

這就能解釋,為啥搜尋引擎搜不到微信文章了。(搜狗是自家人,不計在內)

不過要說起來啊,robots.txt算不上是規範,只是搜尋引擎和網站們達成的一項約定。

像谷歌、百度和bing等大廠出品的搜尋引擎,一般都會遵守約定,但新推出的搜尋引擎就不一定講武德了。

畢竟剛出生的搜尋引擎資源匱乏,只能搞點非常規手段,去收錄更多內容,這一點小雷會放在後面聊。

該聊的重點,咱們得適當加速,提前攤開來講。

而這個重點嘛,正是小雷開頭提到的「 微信robots.txt漏洞 」。

搜尋引擎一直無法收錄微信文章內容,全因為那戒備森嚴的robots.txt。

但從昨晚到今天中午,微信的robots檔案突然出現“404無法訪問”。

這就給搜尋引擎們提供了絕佳的爬取機會。

小雷從Google看到,目前谷歌搜尋已經收錄了135萬篇微信文章。

雖然總量不多,但這波操作屬實讓人浮想聯翩。

要麼是微信出BUG,不小心把robots.txt刪掉了,要麼是微信要開放自家生態,造福中文網際網路。

考慮到最近官方出手,讓騰訊和阿里取消連結遮蔽,還有淘寶上線微信支付等操作...

微信放開內容生態,好像還真有搞頭嚯?

害,別怪小雷給大夥潑冷水,這幾乎是不太可能的事兒,多半是微信出BUG,把robots整沒了。

要知道,公眾號內容可是微信培養多年的王牌之一,玩得好好的,完全沒必要向外界開放。

而且小雷對這事兒也經過了排查,現在只有谷歌和必應兩大國外搜尋引擎收錄了微信文章。

作為中文網際網路最強搜尋引擎的百度,反倒是啥也沒有,明顯不符合邏輯。

於是,小雷在今天下午又訪問了一下微信公眾號的robot.txt檔案。

發現這檔案果然回來了...

域名: https://mp.weixin.qq.com/robots.txt

沒過多久,微信也出來迴應: 因為最近平臺技術升級, 導致robots協議出現了漏洞。

如今robots.txt能正常訪問,說明漏洞已經被補上。

這事兒鬧的,小雷也不知道該咋評價了。

一方面,小雷其實挺希望各家平臺能放開搜尋限制,讓搜尋引擎變得更好用。

所以在知道微信robots檔案被刪除後,小雷還興奮了好一會兒,感嘆平臺之間的壁壘終於要被打破了。

但另一方面,搜尋引擎其實也在吃內容平臺的紅利,互相競爭的對手,怎麼會輕易相互開放。

還是拿微信和今日頭條兩大內容平臺來說。

微信憑藉超過10億的使用者量讓公眾號迅速起飛,並以搜狗為搜尋基礎,建立起屬於自己的內容生態。

說白了,大夥想搜微信的文章,只能去搜狗搜尋那裡搜。

而今日頭條也憑藉著強大的演算法推薦,成為了網友們獲取資訊的首選平臺。

在擁有了足夠了資料和使用者後,今日頭條也像微信那樣,做起了自己的搜尋。

就連限制都和微信差不多,百度是無法搜尋到今日頭條任何內容的。

雖然平臺擁有了自己的搜尋引擎後,能讓使用者更方便地檢索資訊。

但最主要的,還是想把握住搜尋引擎這個巨大的流量入口。

這種操作,又俗稱為網際網路版自力更生,自己做飯吃,讓其他搜尋引擎無飯可吃...

最要命的是,這已經成為了國內移動網際網路的趨勢。

從“取消網頁版,強制使用者跳轉到App”,再到“自建搜尋引擎”,大廠們都在流量做出了自己的策略。

其中原地畫圈,禁止外人進入這種操作最為常見。

對平臺自身的發展肯定是好事兒,但也確實苦了咱們這些沒得選擇的老網民。

「其他文章」