Show HN：VoidAccess 开源暗网 OSINT 工具，实现从搜索查询到威胁情报图谱的全流程分析

支持自建托管的开源 OSINT 工具，用于将暗网研究查询转化为结构化威胁情报。专为需要将数据采集、多源富化、关系映射和格式导出整合在统一工作流中的安全研究人员、威胁情报团队及合规调查员量身打造。

bash pip install voidaccess voidaccess investigate "LockBit ransomware" --no-llm --no-tor --depth shallow voidaccess list voidaccess actors voidaccess status

• 并行采集（Parallel collection） - 并行搜索 Tor 搜索引擎、剪贴板站点（Paste sites）、代码托管平台、安全情报订阅源以及精选 .onion 种子站点。
• 实体抽取（Entity extraction） - 自动识别 IOC、数字钱包、凭据、社交网名/代号、系统漏洞、威胁行动者、恶意软件、人员和组织机构。
• 多源富化（Multi-source enrichment） - 关联并补充声誉信誉、数据泄露、被动 DNS（Passive DNS）、沙箱运行、区块链交易以及威胁情报订阅数据。
• 威胁行动者画像（Actor intelligence） - 持久化存储别名、关联基础设施、分析笔记、活动时间线和跨调查关联关系。
• 关系图谱（Relationship graphs） - 自动构建共现图谱、社区划分、路径分析以及基础设施聚类。
• 内容合规安全过滤（Content safety） - 在强制执行的流水线关口处，过滤违禁查询、非法 URL、有害内容和违规提取实体。
• 结构化导出（Structured exports） - 支持生成 STIX 2.1、MISP、Sigma、YARA、Snort、Suricata、CSV、Markdown、JSON 及标准 IOC 规则包。
• CLI 与 Web 界面 - 支持通过 SQLite 本地直接运行，或通过 Docker Compose 部署包含 PostgreSQL 和 Web 浏览器界面的完整技术栈。

完整的流水线运行机制、超时配置、故障恢复和数据流转细节，请参阅架构文档（Architecture）。

采集与富化（Collection and Enrichment）

需要 API 密钥的数据源在未配置对应密钥时会自动平滑跳过。完整的密钥配置说明请参见架构文档。

可选的向量嵌入（Optional vector embeddings）

默认安装版本无需 PyTorch 即可正常运行。当环境缺少嵌入计算栈支持时，VoidAccess 会通过日志提示当前使用确定性 SHA-256 回退编码器。如需启用完整的 sentence-transformer 向量嵌入功能，请安装可选的 NLP 依赖：

bash pip install "voidaccess[nlp]"

可选的明网请求可以通过 --use-scraping-api 或 --use-proxies 参数对接 ScrapingAnt 服务；Tor、.onion、GitHub 与 GitLab 的网络流量均不受影响。

支持使用 Docker Compose 一键启动由 PostgreSQL、Tor、FastAPI 和 Next.js 构建的完整技术栈。自建托管指南提供了手把手配置向导、环境变量设定、日常运维与排错说明。

| ---|--- 自建托管指南 | Docker Compose 部署、环境搭建、日常运维与故障排查 架构设计文档 | 流水线内部原理、核心模块、数据模式、API 规范、富化机制、图谱引擎及配置参考 贡献指南 | 本地开发环境配置、工程规范与 Pull Request 流程 安全策略 | 支持版本及私密漏洞报告渠道 使用政策 | 合法授权使用准则与禁止行为规范 PyPI | 官方发布的软件包与 Release 文件下载 GitHub | 源码仓库、问题跟踪与版本发布

本项目遵循 MIT 协议开源。请务必仅在经合法授权的安全研究与威胁情报研判工作中使用 VoidAccess；具体准则参见使用政策。

Self-hostable OSINT for turning dark-web research queries into structured threat intelligence. Built for security researchers, threat-intelligence teams, and authorized investigators who need collection, enrichment, relationship mapping, and export in one workflow.

pip install voidaccess
voidaccess investigate "LockBit ransomware" --no-llm --no-tor --depth shallow
voidaccess list
voidaccess actors
voidaccess status

• Parallel collection - searches Tor indexes, paste sites, code forges, security feeds, and curated .onion seeds.
• Entity extraction - finds IOCs, wallets, credentials, handles, vulnerabilities, actors, malware, people, and organizations.
• Multi-source enrichment - adds reputation, breach, passive DNS, sandbox, blockchain, and threat-feed context.
• Actor intelligence - persists aliases, infrastructure, notes, timelines, and cross-investigation relationships.
• Relationship graphs - builds co-occurrence graphs, communities, paths, and infrastructure clusters.
• Content safety - filters prohibited queries, URLs, content, and extracted entities at mandatory pipeline gates.
• Structured exports - produces STIX 2.1, MISP, Sigma, YARA, Snort, Suricata, CSV, Markdown, JSON, and IOC packages.
• CLI and web UI - runs locally with SQLite or as a Docker Compose stack with PostgreSQL and a browser interface.

Full pipeline behavior, timeouts, recovery, and data flow are documented in Architecture.

Collection and Enrichment

Sources that need API keys skip cleanly when their keys are absent. The complete key and configuration reference is in Architecture.

Optional vector embeddings

The default installation can run without PyTorch. When the embedding stack is unavailable, VoidAccess logs that it is using a deterministic SHA-256 fallback encoder. Install the optional NLP dependencies to enable full sentence-transformer vector embeddings:

pip install "voidaccess[nlp]"

Optional clearnet requests can use ScrapingAnt with --use-scraping-api or --use-proxies; Tor, .onion, GitHub, and GitLab traffic are unaffected.

Run the full PostgreSQL, Tor, FastAPI, and Next.js stack with Docker Compose. The self-hosting guide covers guided setup, environment configuration, operations, and troubleshooting.

|
---|---
Self-hosting guide | Docker Compose, environment setup, operations, and troubleshooting
Architecture | Pipeline internals, modules, schema, API, enrichment, graph, and configuration reference
Contributing | Development setup, standards, and pull requests
Security | Supported versions and private vulnerability reporting
Usage policy | Authorized-use requirements and prohibited activity
PyPI | Published package and release files
GitHub | Source, issues, and releases

MIT. Use VoidAccess only for authorized security research and threat-intelligence work; see the Usage Policy.