在紀錄中看到Google bot 在爬文章的時候他是沒有帶入User Agent的,所以我在CF的防火牆增加規則,當值是空的則拒絕訪問,所以想要測試有沒有成功,只能改自己的裝置,手機跟電腦都可以。
在Firefox中設定user-agent
- 前往about:config
- 新增 general.useragent.override
- 輸入
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
https://www.google.com/search?q=user+agent+check
Request headers test:
Host: page.toolman.xyz
User-Agent: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile
Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
改成這樣我電腦的Google就會變成手機的版本,而且Bing也打不開,有些網站也開不了