網站地圖列了哪些網址?逐筆檢查失效、轉址與非預期頁面
從匯出 sitemap 開始,逐筆核對網址回應、轉址、語系版本與提交範圍,並留下可追溯的差異紀錄。

網站地圖(sitemap)是一份網站主動列出的網址清單,適合拿來和預期提交範圍逐筆比對。它不等於搜尋引擎已收錄,也不保證每個網址都應該留在清單裡。這次稽核聚焦三件事:清單列了哪些網址、每筆目前如何回應、是否仍符合預期範圍。先保存原始檔,再依序檢查,可以讓差異可追溯,也避免把網址轉址設計或內容去留混進同一份工作。

匯出網站地圖網址
網站地圖只是網站主動列出的網址清單,稽核時要先確認實際入口與提交來源。可從網站公開的 sitemap 連結、管理者保存的提交紀錄或網站平台文件交叉核對,不要因為常見慣例就假定 /sitemap.xml 一定存在,或認定它是唯一入口。若站上有多個主機、子網域或語系目錄,先標明各自來源,避免只留下路徑而把不同版本混成同一筆。
入口可能是 sitemap index,裡面只列出子 sitemap;應先把每個子檔下載,再逐檔取出 <loc> 網址。若只保存索引檔,後續檢查的可能只有清單位置,實際頁面卻沒有納入。每個網址都要保留它來自哪一份檔案,並保存原始 XML 副本;解析失敗、讀取不完整或權限不明的檔案,另記待確認,不能默默略過。
整理時一個網址放一列,保留完整協定、主機、路徑與查詢參數;不要先補斜線、改大小寫、刪參數或合併相似路徑。XML 中的跳脫字元要交由解析器還原,否則含特殊字元的網址可能和瀏覽器實際地址不同。檔案提供的更新時間可另存欄位,但它只代表清單上的時間資訊,不是頁面已更新或成功讀取的證明。
母表至少保留來源檔、原始網址、檔案提供的更新時間、檢查狀態、最後回應網址及備註。假設一個索引連到三份清單,分別有四十五、四十與三十五筆,總數就是一百二十筆;先核對總量,再標記完全相同的網址,不要立即刪掉重複列。保留來源後,才能追查重複是不同清單再次引用,還是網址因協定、主機或參數而看似相同。匯出階段先求完整與可追溯,是否應留下,留到範圍判斷再決定。
分類有效與失效頁
對母表每筆網址進行能讀取頁面回應的檢查,記錄檢查時間、回應狀態、最後到達的網址,以及是否成功取得頁面內容。單靠 HEAD 查詢可能和一般頁面讀取不同;若工具只提供這種結果,遇到阻擋或不一致時,再用實際 GET 核對。批次掃描可以省時,但結果仍要回到每一列,不能只留下總筆數或一張成功率摘要。
可先按狀態做暫時分類,再人工確認內容與預期範圍。下表是工作用標記,不代表只看一個狀態碼就能下結論:
| 暫定標記 | 觀察到的狀況 | 逐筆處理 |
|---|---|---|
| 可讀候選 | 頁面正常回應且內容吻合 | 再核對範圍與 canonical |
| 失效候選 | 確認頁面已不存在 | 查來源後決定如何處理 |
| 待確認 | 逾時、伺服器錯誤或存取阻擋 | 重查並確認阻擋原因 |
收到 200 只說明請求有回應,還要確認回來的是預期頁面,而不是錯誤說明、空白模板或替代頁。可對照頁面標題、主要內容、導覽位置與 canonical 指向;如果網址載入成功卻顯示「找不到頁面」,應標記為內容與狀態不一致的候選案例,再由人檢查,不要直接算有效。
404 或 410 可列為失效候選,但若網站剛調整、暫時擋住檢查來源,或回應受到登入、驗證及防護機制影響,就要記錄證據並重查。401、403、逾時與 5xx 不應一律當作頁面不存在,也不能未確認就算成功。表格可增加檢查工具、重查結果和處理負責人,讓後續修正能回到具體網址。若頁面狀態和內容互相矛盾,先標待確認,避免一筆誤判帶動整批分類。
找出轉址與重複頁
清單中的網址如果回應轉址,記下原始網址、每個轉址節點與最後到達的網址,再確認最終頁面是否可讀、是否符合預期。這一步是在盤點 sitemap 目前提交的內容,不是設計新的轉址對應。若途中有多層轉址、反覆回到前一頁、協定或主機來回變換,應分別標記鏈結過長、迴圈或目的地不穩定等觀察,避免只記最後結果而看不出提交網址為何不理想。
判斷重複時,先找出不同原始網址是否抵達同一個最終頁,再查看頁面宣告的 canonical 是否一致。常見的比較候選包括有無結尾斜線、大小寫差異、追蹤參數、排序參數及不同協定;但不要看到參數就直接刪除,有些參數會改變頁面內容。將來源網址、最後網址、canonical 與重複判斷原因放在同一列,才能區分技術上相同的網址和用途不同的頁面。
例如,假設清單同時列出 /guide?from=menu 與 /guide/,前者轉到後者,而兩頁也指向同一 canonical,就把這兩筆標成「疑似重複、待確認清單應保留哪筆」。接著依網站定義的標準網址核對清單是否提交了預期版本;不要只憑網址外觀或單次測試就刪除其中一列。若最終頁面本身仍轉址,記錄完整路徑並重查結果,因為上一輪的目的地不一定代表目前狀況。
完成分類後,優先整理仍在 sitemap 裡的轉址網址、轉址迴圈、目的地失效,以及多個來源指向同一頁的情況。每個問題都保留原始證據和判斷理由,讓網站負責人能依既有規則處理。若找不到既定的標準網址,先把項目標為待決,不要在稽核表裡自創映射;本文要確認的是提交清單現況,不是替網站決定網址架構。
比對語系網址清單
網站若有多種語言或地區版本,先向網站負責人確認目前預期支援的語系與網址範圍,不要只靠路徑中是否出現語系代碼推定。將已知語系路徑、sitemap 中的網址,以及頁面或 XML 中使用的語系替代標記分欄整理。這份比對是找出清單與實際設定的落差;某個語系未列入 sitemap 時,先確認是否原本就預期提交,再決定如何標記。
逐筆檢查語系標記指向的網址是否在 sitemap 母表中,並核對它是否能讀取、最後到達何處、頁面實際內容屬於哪一種語言。網址看起來像 /zh-tw/ 或 /en/,不代表頁面語言、地區或用途一定正確;也要查看頁面內容和網站既定命名。若清單有語系替代關係,檢查各版本的標記是否指回預期頁面,並把缺少的對應列成差異,不能用路徑相似度代替確認。
可以使用一張逐筆比對表,欄位包含預期語系、預期網址、是否列入 sitemap、回應結果、最後到達網址、替代標記及檢查備註。假設一組頁面預期包含繁體中文與英文版本,先確認兩筆都出現在母表,再比對各自的語系標記;如果突然多出第三種語系,先查是否為正式範圍,別直接當成錯誤或新服務。相同頁面也可能有多種地區版本,應分開記錄語言和地區設定。
遇到語系標記指向清單外網址時,先確認該版本是否刻意不放在這份 sitemap、是否屬於另一個子 sitemap,或是網址已改變但標記尚未同步。反過來說,清單收錄了某語系網址,卻沒有在頁面或 XML 找到預期關聯,也應列為差異候選。對無法確認的項目註明缺少的證據與負責人,待網站規則明確後再分類,避免把語系命名、轉址與收錄範圍混成單一問題。
標記不應提交項目
是否提交一筆網址,先以明確的網站預期範圍判斷:它是否是公開可讀、希望被搜尋引擎發現的標準頁面?若答案是否定的,再記錄排除理由與證據。常見候選包括測試或預覽環境、刻意不收錄的頁面、登入後才能使用的路徑、重複的參數版本,以及已轉址到其他網址的舊版本;這些都要逐筆確認,不能只看網址名稱就批次剔除。
篩選時可比對主機是否屬正式網站、頁面是否帶有 noindex 指示、是否受到爬取限制,以及 canonical 是否指向另一個頁面。這些線索各自回答不同問題,不能互相替代:例如,某頁可被讀取,不代表它應列入 sitemap;某路徑受限制,也不等於已確認內容不存在。清單中若有站內搜尋結果、篩選條件或追蹤參數,先判斷它們是否形成預期的獨立頁面,再決定保留或標記排除候選。
也不要把所有分類頁、分頁、PDF 或參數頁都視為不應提交。若它們是公開、具有獨立用途且符合網站規則的頁面,是否提交仍應以既定範圍判斷;只有名稱相似或內容相近不足以定案。對每筆排除候選記錄原因,例如「非正式環境」「明確不收錄」「重複版本」或「不在核准語系範圍」,並附上看到的設定或回應。無法確認時保留待決狀態,交由熟悉網站設定的人判斷。
完成初篩後,將每筆分成預期保留、確認排除、需要調查三類,再和原始母表對照,確保沒有在整理時遺失來源。特別留意同一網址同時符合多項線索的情況:例如既帶參數又轉址,應記錄主要排除理由和次要觀察,方便追查。稽核表只標示目前清單與已確認規則的落差,不替網站推定新的內容政策;遇到規則不完整,就把缺少的決策列清楚。
保存差異與檢查日期
每輪檢查都保存原始 sitemap、副本取得時間、使用的來源、逐筆結果及整理後的母表。時間欄位記錄實際檢查的日期、時區和重查時間,否則兩份結果即使內容不同,也無法分辨差異來自網站變動,還是檢查時間與方法不同。若同一筆在不同輪次回應不一致,兩次結果都要保留,不要用較新的狀態覆蓋歷史,讓之後能看見問題是持續、間歇或已恢復。
差異表可將新增網址、消失網址、狀態改變、最後目的地改變與語系標記變動分開列出。對新增項目,確認它是否屬預期範圍;對消失項目,檢查來源檔是否改版或子 sitemap 是否未納入;對失效項目,保存回應與重查結論。逾時或伺服器錯誤先標待重查,不要直接寫成永久失效;只有找到足以支持判斷的回應和頁面證據,才把候選狀態改成確認結果。
摘要數字也要能從母表重算。假設某輪共檢查一百二十筆,其中一百一十筆可讀、四筆轉址、三筆確認失效、三筆待確認,合計仍是一百二十筆;這個假設例子示範的是分類加總,不是網站現況或成效承諾。若母表的總數對不上摘要,先檢查重複列、漏載的子檔與未完成的檢查,再對外引用結果。摘要應列明檢查範圍和未完成項目,避免把待確認誤算成有效或失效。
把每列的判斷理由、證據位置、待辦與負責人一起存檔,後續才能接續處理,也能比較哪種差異反覆出現。現在就從匯出全部 sitemap 原始檔開始,建立逐筆母表並補上檢查日期、狀態與最後網址;若要了解 ZhenheAI 官方資訊,可前往 ZhenheAI 官網。