2026_港澳台_采集进度实时清单.md

title: 采集进度实时清单

updated: 2026-08-04

国外及港澳台火灾/事故调查报告 — 采集进度实时清单

生成时间：2026-08-02 15:17 ｜ 目标总数：≥ 1000 份 ｜ 当前累计：3112 份 ｜ 完成度：311.2%

一、各来源汇总

二、命名规范

• 英文报告文件名统一为「中文译名 + 英文原名」双语格式（NTSB 全量枚举报告保留原始 ID 命名 {ID}.pdf）。
• 文档类型后缀：__调查报告 / __案例研究 / __安全通报 / __状态摘要 等。
• 按来源建子目录，文件落入对应来源目录。

三、数据来源与说明

• 美国_CSB_化工安全调查：CSB 美国化工安全与危害调查委员会（化学品火灾/爆炸/泄漏事故调查）（128 份）。
• 美国_NFPA_消防研究：（1 份）。
• 美国_NTSB_火灾爆炸调查：NTSB 美国运输安全委员会（航空/公路/铁路/船舶/管道/危化品事故报告，全量枚举）（825 份）。
• 英国_AAIB_航空事故调查：AAIB 英国航空事故调查处（航空事故报告，多含坠机后火灾）（519 份）。
• 英国_HSE_事故调查报告：HSE 英国健康安全执行局（重大工业事故/化工火灾爆炸调查）（3 份）。
• 英国_MAIB_海事事故调查：MAIB 英国海事事故调查处（船舶事故/火灾报告）（72 份）。
• 英国_RAIB_铁路事故调查：RAIB 英国铁路事故调查处（铁路事故报告）（10 份）。
• 非火灾类事故报告：火灾相关性筛选中「非火灾嫌疑」隔离区（碰撞/脱轨/沉没/失控等，按来源镜像，不删除）（1554 份）。

四、采集管线与续传（跨会话可恢复）

管线脚本与断点持久化于项目目录：/Users/simon/WorkBuddy/2026-08-01-11-50-21/采集管线/

• ntsb_brute.py：NTSB 全量报告 ID 枚举+下载（HEAD 校验后下载，断点续传）。
• uk_branch_crawl.py ：英国政府三分支事故报告爬虫（翻页收集 slug → 详情页取 PDF → 下载）。
• ms_dl.py ：通用手动 URL 清单下载器（HSE 等）。
• csb_dl2.py / consolidate.py / reconstruct_done.py / locate_pending.py：CSB 主轴下载与整合。
• 各爬虫断点：ntsb_brute_done.jsonl / uk__done.jsonl / msdone_.jsonl，重跑自动跳过已下。

五、1000 份目标与多源路线图

• 当前 3112 份，已超/接近 1000 目标。CSB(化工) + NTSB(全量事故) + 英国三分支(AAIB/RAIB/MAIB) + HSE 已构建多源矩阵。
• 待补来源（沙箱 SSL 握手挂死，需在本机 macOS 跑）：USFA、台湾消防署、香港消防处；NFPA 沙箱已取 1 份（MethodologyForFireLoss.pdf），余量需本机渲染抓取。

六、如何快速跑完剩余（本机 macOS 执行，推荐）

沙箱硬约束：单进程约 60s 被回收、出口带宽约 0.48MB/s（全局共享），导致沙箱内只能涓流下载。本机无 60s 限制、满带宽，几分钟刷完。

PIPE="$HOME/WorkBuddy/2026-08-01-11-50-21/采集管线" ROOT="$HOME/消防智库/材料区/新消防智库/火灾调查/国外及港澳台火灾调查报告" cd "$PIPE"

1) NTSB 全量枚举续传（已下自动跳过）

python3 ntsb_brute.py

2) 英国三分支事故报告续传

python3 uk_branch_crawl.py aaib python3 uk_branch_crawl.py raib python3 uk_branch_crawl.py maib

3) HSE 等手动清单

python3 ms_dl.py hse_urls.json

4) 待补来源（沙箱 SSL 挂死/404，仅本机 macOS 跑）

python3 mac_usfa.py 2200 # USFA 美国消防署（已就绪，直接跑） python3 mac_taiwan.py # 台湾消防署（先改脚本内 START_URL 为真实列表页） python3 mac_hk.py # 香港消防处（先改脚本内 START_URL 为真实列表页）

5) 刷新本清单

python3 gen_index.py

本清单由 gen_index.py 自动生成，每次采集后重跑刷新。进度 3112/1000。