患者:我是找關係進來的，醫生:我也是，器材:我也是，藥品:我也是，看門大爺:我也是。
說白了，俄羅斯最大的底牌是人。他跟土耳其的戰爭，打了241年，差不多每二十年就干一仗，只要年輕人攢夠了就開打，生娃打仗兩不誤。只是這次北約這把軟刀子再耗下去，只怕他會把自己耗到連翻身的機會都沒了。
這次的俄烏衝突，俄羅斯一開始氣勢洶洶，結果打了這麼久，別說烏克蘭沒拿下，連自己的經濟都快被拖垮了。
北約雖然沒直接下場，但給烏克蘭送武器、送錢，還搞經濟制裁，俄羅斯的日子越來越難過了。說白了，俄羅斯現在就是「外強中乾」，表面上看軍事實力強，但實際上經濟不行，科技落後，連最基本的後勤保障都成問題。
你看俄羅斯的坦克部隊，號稱世界第一，結果在烏克蘭戰場上，坦克被烏克蘭的無人機打得滿地找牙。為啥。
因為俄羅斯的坦克雖然多，但技術落後，防護差，信息化程度低，根本扛不住現代戰爭的打擊。
再比如，俄羅斯的空軍，號稱世界第二，結果在烏克蘭戰場上，連制空權都沒拿到。為啥。
因為俄羅斯的飛機雖然多，但技術落後，電子戰能力差，根本扛不住北約的電子干擾和防空飛彈。
所以，我看俄羅斯撐不了多久了。北約這把軟刀子，慢慢耗，俄羅斯遲早會被耗到連翻身的機會都沒了。說白了，俄羅斯現在就是「外強中乾」，表面上看軍事實力強。
但實際上經濟不行，科技落後，連最基本的後勤保障都成問題。再這麼耗下去，俄羅斯遲早會被耗到連翻身的機會都沒了。
這次的俄烏衝突，俄羅斯一開始氣勢洶洶，結果打了這麼久，別說烏克蘭沒拿下，連自己的經濟都快被拖垮了。
北約雖然沒直接下場，但給烏克蘭送武器、送錢，還搞經濟制裁，俄羅斯的日子越來越難過了。說白了，俄羅斯現在就是「外強中乾」，表面上看軍事實力強，但實際上經濟不行，科技落後，連最基本的後勤保障都成問題。
你看俄羅斯的坦克部隊，號稱世界第一，結果在烏克蘭戰場上，坦克被烏克蘭的無人機打得滿地找牙。為啥。
因為俄羅斯的坦克雖然多，但技術落後，防護差，信息化程度低，根本扛不住現代戰爭的打擊。
再比如，俄羅斯的空軍，號稱世界第二，結果在烏克蘭戰場上，連制空權都沒拿到。為啥。
因為俄羅斯的飛機雖然多，但技術落後，電子戰能力差，根本扛不住北約的電子干擾和防空飛彈。
所以，我看俄羅斯撐不了多久了。北約這把軟刀子，慢慢耗，俄羅斯遲早會被耗到連翻身的機會都沒了。說白了，俄羅斯現在就是「外強中乾」，表面上看軍事實力強。
但實際上經濟不行，科技落後，連最基本的後勤保障都成問題。再這麼耗下去，俄羅斯遲早會被耗到連翻身的機會都沒了。
偽道學是一個複雜且多維度的概念，可以從不同的角度進行理解和闡述。以下是對偽道學的詳細分析：
定義：
偽道學通常指的是表面上標榜著高尚的道德或宗教教義，但背地裡卻幹著與這些教義相悖之事的言行不一的現象。它不僅涉及對宗教或道德教義的歪曲和濫用，還包括了利用這些教義來謀取個人私利或進行不正當行為的情況。
特徵：
言行不一：偽道學者在公眾面前往往表現出對道德或宗教教義的尊崇和捍衛，但私下裡卻可能違背這些教義，做出不道德或非法的行為。
利用教義：他們可能會利用宗教或道德教義中的某些內容來為自己的不正當行為找藉口或辯護，甚至以此來欺騙或誤導他人。
追求私利：偽道學的核心往往是追求個人私利，無論是物質上的還是精神上的滿足，他們都可能不擇手段地利用宗教或道德教義來達到自己的目的。
表現形式：
偽宗教活動：一些人可能會打著宗教的旗號進行非法的宗教活動，如非法傳教、收取高額費用等。
道德淪喪：偽道學者在道德上往往沒有底線，可能會做出欺詐、背叛、貪污等惡劣行徑。
文化扭曲：偽道學還可能表現為對傳統文化的歪曲和濫用，如利用封建迷信來滿足人們的心理需求或進行不正當的商業活動。
危害：
破壞宗教形象：偽道學的存在嚴重破壞了宗教在公眾心目中的形象，使得人們對宗教產生誤解和偏見。
損害社會道德：偽道學者的不道德行為會損害社會的整體道德水平，破壞社會的和諧與穩定。
誤導群眾：偽道學往往會利用人們的信仰需求進行欺騙和誤導，使人們陷入迷信和盲從的境地。
辨別方法：
觀察言行：通過長期觀察一個人的言行舉止、對待他人的態度以及在面對利益衝突時的選擇來判斷其是否言行一致。
查閱背景：了解一個人的教育背景、工作經歷和社會關係等，以便更全面地了解其為人處世的方式和價值觀。
理性思考：對於任何宗教或道德教義，都要保持理性的思考態度，不盲目相信或跟風。
防範措施：
加強教育：提高公眾對宗教和道德的認識水平，增強辨別真偽的能力。
依法打擊：政府應依法打擊偽宗教活動和道德淪喪行為，維護社會的公平正義。
營造氛圍：營造一個真實、誠信、充滿正能量的社會環境，讓偽道學無處遁形。
綜上所述，偽道學是一種言行不一、利用宗教或道德教義謀取私利的現象。它破壞了宗教形象、損害社會道德、誤導群眾，因此我們需要提高警惕、加強教育、依法打擊並營造良好的社會環境來防範和抵制偽道學的蔓延。
一、定義與特徵
定義：
偽道學通常指的是表面上標榜著高尚的道德或宗教教義，但背地裡卻幹著與這些教義相悖之事的言行不一的現象。它不僅涉及對宗教或道德教義的歪曲和濫用，還包括了利用這些教義來謀取個人私利或進行不正當行為的情況。
特徵：
言行不一：偽道學者在公眾面前往往表現出對道德或宗教教義的尊崇和捍衛，但私下裡卻可能違背這些教義，做出不道德或非法的行為。
利用教義：他們可能會利用宗教或道德教義中的某些內容來為自己的不正當行為找藉口或辯護，甚至以此來欺騙或誤導他人。
追求私利：偽道學的核心往往是追求個人私利，無論是物質上的還是精神上的滿足，他們都可能不擇手段地利用宗教或道德教義來達到自己的目的。
二、表現形式與危害
表現形式：
偽宗教活動：一些人可能會打著宗教的旗號進行非法的宗教活動，如非法傳教、收取高額費用等。
道德淪喪：偽道學者在道德上往往沒有底線，可能會做出欺詐、背叛、貪污等惡劣行徑。
文化扭曲：偽道學還可能表現為對傳統文化的歪曲和濫用，如利用封建迷信來滿足人們的心理需求或進行不正當的商業活動。
危害：
破壞宗教形象：偽道學的存在嚴重破壞了宗教在公眾心目中的形象，使得人們對宗教產生誤解和偏見。
損害社會道德：偽道學者的不道德行為會損害社會的整體道德水平，破壞社會的和諧與穩定。
誤導群眾：偽道學往往會利用人們的信仰需求進行欺騙和誤導，使人們陷入迷信和盲從的境地。
三、如何辨別與防範
辨別方法：
觀察言行：通過長期觀察一個人的言行舉止、對待他人的態度以及在面對利益衝突時的選擇來判斷其是否言行一致。
查閱背景：了解一個人的教育背景、工作經歷和社會關係等，以便更全面地了解其為人處世的方式和價值觀。
理性思考：對於任何宗教或道德教義，都要保持理性的思考態度，不盲目相信或跟風。
防範措施：
加強教育：提高公眾對宗教和道德的認識水平，增強辨別真偽的能力。
依法打擊：政府應依法打擊偽宗教活動和道德淪喪行為，維護社會的公平正義。
營造氛圍：營造一個真實、誠信、充滿正能量的社會環境，讓偽道學無處遁形。
綜上所述，偽道學是一種言行不一、利用宗教或道德教義謀取私利的現象。它破壞了宗教形象、損害社會道德、誤導群眾，因此我們需要提高警惕、加強教育、依法打擊並營造良好的社會環境來防範和抵制偽道學的蔓延。
前言
生成式 ai 的發展和逐漸成熟，給人們帶來了便利的同時也給內容創作者帶來了負面影響。它降低了資料原始出處的訪問價值，減少了網站的利益（流量、收益和創作積極性）。如果你跟我一樣，想在自己的網站屏蔽 ai 的抓取，那麼這篇文章就是為你準備的。
這是一篇新手向教程。過程十分簡單。
屏蔽原因
雖然我在前言中有所提及，但並沒有特別深刻的剖析所謂的負面影響。因為本文的重點是屏蔽方法，而不是屏蔽原因。
你可以參考此文了解我的更多看法。
配置 robots.txt
具備最基本 seo 常識的站長應該都知道 robots.txt 是什麼，它是一個用來控制搜尋引擎爬蟲抓取範圍的文件。我們可以在 robots.txt 屏蔽某些頁面/某些爬蟲，或僅允許某些爬蟲。
舉個最典型的例子：
user-agent:*disallow:/admin/。
上述 robots.txt 規定了任何爬蟲都不允許訪問 /admin/ 路徑的頁面。這個聲明非常常見，因為將網站後台索引到搜尋引擎中是毫無意義的，還會招來不必要的風險。
當我們要屏蔽特定的爬蟲時，就需要將 * 改為該爬蟲的 user-agent 字符串。如果要屏蔽多個，那麼就寫上多個 user-agent 欄位，再接一個 disallow 欄位即可。
user-agent:gptbotuser-agent:claude-webuser-agent:claudebotdisallow:/。
以上 robots.txt 屏蔽了 chatgpt 和 claude 這兩個目前最著名的 ai 產品的抓取。
擴充列表
在了解原理後，我們通過網友們整理好的 ai.robots.txt 倉庫，進一步擴充 ai 爬蟲的 ua 規則。
robots.txt 的可靠性
配置好 robots.txt 能代表相安無事嗎？此文件真的能有效拒絕它們嗎？
答案是否定的，因為 ai 的爬蟲並不像搜尋引擎爬蟲那樣成熟。它們可能會忽略 robots.txt 的後續更新，甚至在規則的解析和執行中發生錯誤。搜尋引擎往往不用我們擔心，因為從控制台能看到爬蟲的行為，或自行測試搜索結果。但 ai 爬蟲的行為就是黑盒，你什麼也無法確定。所以我們要進一步的使用 nginx 屏蔽它們。
配置 nginx
如果你跟我一樣並不信任 ai 爬蟲的行為，那麼就有必要在訪問控制層面去屏蔽它們。nginx 是絕大多數網站都會使用的反向代理工具，在 nginx 層面可以輕鬆做到針對 user-agent 的屏蔽。
我們添加以下配置片段：
set $is_bot 0;# 定義變量表示此次訪問是否為 ai bot，默認為 0（否）if ($http_user_agent ~* (gptbot|claude-web|claudebot)) { # 如果請求的 user-agent 和 ai bot 的規則匹配，那麼設置 `is_bot` 為 1（是） set $is_bot 1;}if ($is_bot = 1) { # 如果是 ai bot，返回 403 return 403;}
nginx 中的 $http_user_agent 是一個內置變量，表示當前請求的 user-agent 字符串。~* 是一個正則匹配操作符（忽略大小寫）。我們用正則來判斷請求是否是 ai bot，如果是就返回 403 頁面。
進一步的，按照擴充列表章節中的開源倉庫補充正則，就能輕易的從訪問控制層面屏蔽這些 ai 爬蟲。現在無論這些爬蟲是否遵循 robots.txt 規則，我們都能有效的拒絕它們。
現實情況是，往往這個列表太長了。所以單純的 if 和正則並不推薦，我們應該將其轉換為 map 塊，如下：
map $http_user_agent $user_agent_from_ai { default 0;# 默認值為 0 ~*gptbot 1; ~*claude-web 1; ~*claudebot 1; ~*kangaroo\sbot 1; # 添加更多...}
注意以上的 kangaroo\sbot，它實際上對應 kangaroo bot。但我們不能包含空格，因為它會被解析為新的參數。使用正則表達式中的 \s 來表示一個空格。
最後用 if 判斷 $user_agent_from_ai 的值：
if ($user_agent_from_ai = 1) { # 如果是 ai bot，返回 403 return 403;}
足夠了嗎
答案仍然是否定的。儘管在以上方法中，我們貌似在「約定」層面和「訪問」層面都拒絕了它們，但這基於我們對 ai 公司/爬蟲一定程度上的信任。
起碼我們認為它們不會偽裝而是使用固定的 user-agent。所以這樣做只能防君子，不防小人。假設爬蟲簡單的偽裝一下自己，訪問控制就失效了。不過，我仍然認為行業巨頭在這方面是值得信任的，但小團隊的產品就不一定了。
要屏蔽經過偽裝的 ai 爬蟲其實是很困難的，但也不是沒有辦法。如果對大量的 nginx 日誌/請求日誌進行複雜的特徵/行為分析，我認為能一定程度上識別出爬蟲。甚至收集到它們的 ip 地址，針對 ip 進行更徹底的屏蔽。但我們往往沒有那麼龐大的數據量來做這樣的分析，若是 cloudflare 這樣的大型 cdn 服務商，那就有條件做到。恰好我了解到 cloudflare 已經研發了相應的功能，並且是免費使用的。
使用 cloudflare
進入 cloudflare 的「安全性」 ->「自動程序」頁面，勾選「阻止 ai 爬蟲程序和爬網程序」功能即可。
此功能可以一定程度屏蔽具有偽裝性的爬蟲，也包括老實使用自己的 user-agent 的爬蟲。如果使用過 cloudflare 的防火牆等抵禦攻擊相關的功能，應該會知道它們有對客戶端 ip 進行評分，以及可靠的指紋識別、大模型行為識別等技術。所以我認為 cloudflare 還是可以做好這部分的。
那麼使用這個功能，會對 seo 造成影響嗎？畢竟搜尋引擎的爬蟲也可能具有明顯的特徵。好問題，cloudflare 自然也考慮到了。它們維護了一個已驗證機器人列表，其中包含幾乎已知的主流搜尋引擎爬蟲，並允許它們的抓取。
對抗 ai
以上配置中我們對 ai 爬蟲響應 403，但它不是唯一可取的響應方式。如果你認為有些爬蟲過於困擾，反覆變化毫無規則。那麼就成全它讓它抓取吧，先收集其 ip 並然後使用 miragend 來污染它。
結束語
這就是屏蔽 ai 爬蟲的方法了。不過請注意，此文的方法仍然比較基礎，適合個人。如果有大型網際網路平台/社區需要這方面的支持，可以聯繫我，我提供收費的技術支持。當然，如果有效果更好的適合新手的方法，我也會毫不猶豫的分享出來。畢竟我是一個堅定的生成式 ai 無授權抓取內容行為的反對者。
