# ========================================================== # robots.txt # 2026-08-04 修訂 # # 修訂原因:原本的 Disallow: /uploads/ 與 Disallow: /themes/ # 把全站的圖片、CSS、JS 全部擋住了,造成兩個問題: # 1. og:image 與文章配圖(uploads/)搜尋引擎抓不到, # 搜尋結果與社群分享都不會有縮圖。 # 2. 佈景的 CSS/JS(themes/)被擋,Google 算繪頁面時 # 看到的是沒有樣式的破版,會影響行動裝置友善性評分。 # # ⚠ 不要為 GPTBot / ClaudeBot / PerplexityBot 等另開群組。 # 依 RFC 9309,爬蟲只採用「最符合自己的那一個群組」, # 群組之間不會合併繼承。一旦替某個 AI 爬蟲開了 # 「User-agent: GPTBot / Allow: /」,它就不再套用下面 # User-agent: * 的任何 Disallow,等於把 /kernel/、/install/ # 這些系統目錄全部對它敞開。 # User-agent: * 本來就是預設允許,AI 爬蟲現在完全暢通, # 不需要也不應該另外宣告。 # ========================================================== User-agent: * # ---- 程式與系統目錄(沒有可索引內容) ---- Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /cache/ Disallow: /class/ Disallow: /include/ Disallow: /install/ Disallow: /kernel/ Disallow: /language/ Disallow: /templates_c/ # ---- 使用者私人內容 ---- Disallow: /uploads/files/ Disallow: /uploads/avatars/ # ---- 以下刻意「不」封鎖,勿再加回來 ---- # /uploads/ → 文章配圖、og:image 來源(answer、news、wr、nc_vision) # /themes/ → 佈景 CSS/JS/圖片,Google 算繪頁面必需 # /images/ → XOOPS 核心 UI 圖檔,算繪頁面時會用到 # ---- Sitemap ---- # ⚠ Sitemap 的網址必須是「本站自己的網域」。這裡是測試站 dev.chccd.com, # 搬到正式站時要一併改成 https://www.cadch.com/...,否則等於叫爬蟲去 # 讀另一個網站的 sitemap,兩邊都會被視為跨站提交而忽略。 # # 2026-08-07:改指站台層級的 /sitemap.xml。 # 原本指的是 /modules/answer/sitemap.xml(只收 answer 的內容), # 現在由 sitemap 模組統一產生,收 answer + news + wr。 # 舊網址已改成 301 轉到這裡,但 robots.txt 應該直接宣告最終位置。 Sitemap: https://dev.chccd.com/sitemap.xml