OpenMetadata 实战：从 0 到 1 搭建企业数据资产目录与元数据管理

OpenMetadata 实战从 0 到 1 搭建企业数据资产目录与元数据管理【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadataOpenMetadata 是一个开源的元数据管理平台。它把散落在 MySQL、Snowflake、Airflow、BI 工具里的表、字段、血缘和测试状态收进同一个目录再配上角色与权限。如果你的数据资产已经多到找表靠问人、排错靠猜上游这套 OpenMetadata 元数据管理方案就是写给数据工程师、分析师和技术负责人的。 什么时候会需要它新来的分析师问GMV 日报在哪张表 BI 的人说是从数仓拉的数仓那张表由 ETL 任务产出而 ETL 的负责人休长假。GMV 到底取的是哪个上游字段没人说得清。另一种情况某个报表数字错了一整天。你要找断在哪一步只能人工往回翻任务读的是哪张表、SQL 改过什么、字段归谁管。上面两种场景命中任意一个说明你缺的不是会议而是一个每天能用、能搜、能追血缘的元数据目录。 从 0 到第一次采集成功1. 把服务跑起来cd docker/docker-compose-openmetadata docker compose up -d这份 compose 文件会一起拉起 server、MySQL 和 Elasticsearchserver 默认监听 8585 端口。想换 PostgreSQL 后端改 env-postgres 里几个 DB 相关环境变量即可其余项保持默认。只改端口忘了同步环境变量服务会反复连旧地址页面直接报错。2. 写一份最小采集配置source: type: mysql config: hostPort: 10.0.0.5:3306 username: om_reader password: change-me schemaFilter: [production_.*, analytics_.*]这份配置的含义是用一个只读账号连这台 MySQL只采符合正则的库。sink 段填 OpenMetadata 地址http://localhost:8585和登录用户的 JWT token其余项保持默认。过滤写错要么目录里塞满测试表要么一张表都采不到。3. 跑第一次采集pip install openmetadata-ingestion metadata ingest -c mysql-ingestion.yaml跑完后打开页面Databases 菜单下能看到这个服务和它的表说明链路通了。仓库在ingestion/src/metadata/examples/下带了各数据源的示例配置连接器源码在ingestion/src/metadata/ingestion/照着同类型的抄一份再改就行。 三个最值钱的用法数据目录检索场景分析师想知道哪张表有订单退款。界面上顶部搜索框输入关键词左侧可按数据域、owner、标签过滤点进表详情页字段、负责人、描述、使用频率一眼可见。好处是找表从问三个人变成自助查一分钟。列级血缘追踪怎么配置场景某个字段数值可疑要直接找到上游字段。界面上表详情和字段详情页有血缘图SQL 解析会拆解 INSERT ... SELECT 语句记录字段到字段的依赖。好处是影响分析和根因定位不再靠口口相传这是 OpenMetadata 元数据管理里最容易建立信任的能力。数据质量规则场景报表关键列不能突然出现空值。界面上表详情页可创建行数、空值、自定义 SQL 等测试每次执行的历史和通过状态都留痕还能配通知。好处是问题被平台先发现而不是被业务先发现。 上生产环境要做什么PoC 能跑不等于能上生产OpenMetadata 元数据管理落地生产三件事必须做部署方式单机 Compose 够验证用生产环境用多实例 compose 或 K8s operator后端选 MySQL 或 PostgreSQLschema 迁移由 Flyway 管理。采集调度不要手动跑。把metadata ingest挂进每日 cron 或 Airflow源端压力大时改用增量采集。权限与数据域按业务线划分数据域并指定 owner用角色控制谁能看、谁能改有企业 SSO 的话接进去别再单独维护一套账号。⚠️ 避坑清单坑解法连接账号权限不够采不全 schema 和字段用 SELECT、SHOW VIEW 等只读权限的专用账号全量采集目录里塞满临时表、测试表用 schemaFilter、includeTables 收窄范围源端删了表目录里还挂着打开 markDeletedTables 选项定期采集标记下线血缘图是空的确认查询日志解析已启用部分方言解析不了SQL 采样不到就没有血缘大库一次采集超时按 schema 拆分任务采集错峰避开业务高峰✂️ 一句话建议表超过几百张、开始找表靠问人、血缘靠猜的团队值得把这套 OpenMetadata 元数据管理跑起来先接一个核心 MySQL 加一个数仓让分析师先用上检索再谈质量和血缘。只有一二十张表、owner 清楚的团队共享表格够用不用急着上。【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考