一、实验背景1.1 实验目的本次实验是在实验7-1清洗成果基础上的延伸加工以content_analysis明细表为数据源借助助睿ETL完成特征工程阶段的衍生计算与文本挖掘任务。具体包括基于基础互动指标构造total_interaction总互动量衍生字段并通过标题关键词匹配生成5个二分类标签特征回填至明细表同时按关键词维度分组聚合互动数据生成标题特征分析汇总表用于量化不同标题话术对内容传播效果的影响为后续BI可视化看板及用户行为建模提供特征样本。通过实操理解特征工程在建模流程中的必要性——原始字段通常不具备直接建模条件需结合业务理解构造有价值的衍生指标掌握助睿ETL中计算器组件与JS自定义脚本组件的使用分别完成数值型特征衍生和文本特征提取区分插入更新与表输出两种写入模式的应用场景掌握基于主键的增量更新方法避免数据重复写入熟悉多分支复制、分组聚合、记录集关联的组合使用实现多维度分组对比分析。1.2 实验环境1.平台全称助睿数智Uniplore一站式数据科学平台2.实训访问地址助睿数智3.核心工具助睿 ETLUD Studio 零代码数据集成工具4.平台核心能力覆盖数据接入、ETL 清洗、特征加工、AI 建模、可视化全链路内置 200 零代码处理组件支持自定义 JS 脚本扩展数据处理逻辑流批一体引擎适配教学数据集加工。5.前置数据源实验 7-1 产出content_analysis清洗明细表仅 B 站、CSDN 有效作品无脏数据、空值补齐。本实验新增目标表title_feature_analysis关键词统计汇总表。1.3 核心设计思路1.3.1 特征工程业务逻辑本次构建两类可用于统计、机器学习分类模型 的特征1.数值衍生特征total_interaction 总互动量计算公式total_interaction likes favorites shares coins 业务含义统一量化单篇作品全部用户互动行为总和消除不同平台互动指标差异作为评估内容热度统一标签可直接用于回归、聚类模型输入。2.文本二分类特征has_best/has_lowcode/has_practice/has_tutorial/has_pit通过匹配标题关键词生成 0、1 标识字段1 代表标题包含对应教学类关键词0 代表不包含属于文本离散特征用于分类任务、分组对比分析判断标题话术对互动数据的影响。1.3.2 整体数据处理流程流程分为两大独立 Pipeline 1.明细更新流读取清洗表→JS 提取标题特征→计算器计算总互动→插入更新回填content_analysis2.关键词统计流分为整体均值分支、单关键词分支过滤聚合后通过字段标签关联合并批量写入title_feature_analysis汇总表 设计优势一次加工同时产出作品级明细、关键词聚合两层数据分别支撑单作品明细分析、标题策略对比分析。二、实验核心思路2.1整体设计理念本实验围绕“从明细到特征、从特征到聚合” 的数据加工主线展开。核心逻辑是先对清洗后的明细数据进行特征工程加工数值衍生 文本离散化回填至原明细表再基于已加工的特征字段分别计算整体基线统计与分组聚合统计通过记录集连接合并两类统计口径最终产出可直接用于 BI 可视化和模型训练的两层数据资产。数据流向分为明细更新流与关键词统计流两个独立 Pipeline分别支撑作品级明细分析、标题策略对比分析两个应用场景。2.2流程执行要点流程执行要点1.更新插入的主键匹配策略插入更新需以 id 为匹配关键字避免重复运行产生冗余数据全字段映射需逐一核对确保特征字段正确回填。2.关键词统计的分支复制策略以“保姆级”分支为模板完整复制后仅修改两处配置① 过滤条件 has_xxx 1② 常量 feature_name 对应文本。切换后无需改动聚合、关联等组件配置实现一组组件配置支撑多组关键词统计的批量加工。三、详细实验步骤3.1 第一部分更新 content_analysis 明细表标题特征 总互动指标步骤 1导入实验 7-1 清洗数据源1.拖拽【表输入】组件至画布2.数据源选择团队私有数据库数据表勾选实验 7-1 输出的content_analysis3.点击数据探查预览数据确认字段date、author_name、title、platform、likes、favorites、 shares、 coins、views、url、id完整无空值仅预留特征字段未填充4.配置要点开启全字段读取保留主键 id 用于后续数据匹配更新。步骤 2JavaScript 组件提取 5 类标题关键词特征1.在表输入下游拖拽【JavaScript 代码】组件2.打开代码编辑框粘贴关键词匹配脚本var title title; // 匹配五类教学关键词生成0/1特征 var has_best title.indexOf(保姆级) ! -1 ? 1 : 0; var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0; var has_practice title.indexOf(实战) ! -1 ? 1 : 0; var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0; var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0; // 输出新特征字段 has_best has_best; has_lowcode has_lowcode; has_practice has_practice; has_tutorial has_tutorial; has_pit has_pit;配置说明提前确认content_analysis表已创建 5 个 TINYINT 类型特征字段引擎才能正常输出脚本对标题字符串做模糊匹配命中输出 1未命中输出 0形成标准化离散特征。数据预览随机抽查多条标题验证特征字段 0/1 赋值逻辑是否匹配关键词。步骤 3计算器组件计算总互动衍生指标1.JS 组件后接入【计算器】组件2.新增输出字段interactions计算公式 interactions likes favorites shares coins3.业务说明统一整合点赞、收藏、分享、B 站投币四类互动数据消除平台指标差异生成连续型数值特征可用于均值计算、相关性分析、回归建模。步骤 4插入 / 更新组件回填数据计算器下游拖拽【插入 / 更新】组件核心参数配置配置项设置内容目标数据表content_analysis匹配主键id作品唯一标识需要更新字段total_interaction, has_best, has_lowcode, has_practice, has_tutorial, has_pit2.字段映射对应关系流内计算字段数据表目标字段interactionstotal_interactionhas_besthas_besthas_lowcodehas_lowcodehas_practicehas_practicehas_tutorialhas_tutorialhas_pithas_pit3.关键区分普通表输出会重复新增作品数据插入更新以 id 作为主键匹配仅更新新增4.特征字段原有基础数据不变支持多次重复运行 Pipeline 无冗余脏数据。流字段表字段更新idid是interactionstotal_interaction是has_besthas_best是has_lowcodehas_lowcode是has_practicehas_practice是has_tutorialhas_tutorial是has_pithas_pit是步骤 5执行明细更新转换流1.点击画布顶部运行按钮执行转换流2.运行完成后点击数据探查查看表content_analysis确认总互动、5 个标题特征全部填充完成。3.2 第二部分构建 title_feature_analysis 关键词汇总表步骤 1新建关键词统计目标数据表进入表管理界面创建title_feature_analysis表结构定义字段名数据类型业务说明idINT自增主键platformVARCHAR(20)区分 B 站 / CSDN 平台feature_nameVARCHAR(50)关键词文本标签保姆级 / 零代码等avg_interactionDECIMAL(10,2)含该关键词作品平均互动量overall_avgDECIMAL(10,2)对应平台全部作品平均互动基线sample_countINT包含该关键词的作品样本数量DROP TABLE IF EXISTS title_feature_analysis; CREATE TABLE title_feature_analysis ( id INT AUTO_INCREMENT PRIMARY KEY COMMENT 自增主键, platform VARCHAR(20) COMMENT 平台B站/CSDN, feature_name VARCHAR(50) COMMENT 关键词名称, avg_interaction DECIMAL(10,2) COMMENT 含该关键词的平均互动总数, overall_avg DECIMAL(10,2) COMMENT 该平台整体平均互动总数, sample_count INT COMMENT 含该关键词的作品数 ) ENGINE InnoDB DEFAULT CHARSET utf8mb4 COMMENT 标题关键词特征分析统计表;步骤 2搭建分支 1—— 计算平台整体平均互动基线1.新建表输入读取content_analysis数据2.依次接入【排序记录】、【分组聚合】组件不设置任何分组维度3.聚合规则AVG (total_interaction) 输出 overall_avg聚合完成后接入“排序记录”组件同样按“plantform”字段升序排序4.下游添加【增加常量】组件新增字段feature_name 整体均值5.作用生成各平台互动基准值用于后续对比关键词提升效果。步骤 3搭建分支 2—— 单关键词均值统计以 “保姆级” 为例1.复制表输入组件新建独立分支2.【过滤记录】组件设置条件has_best 1仅保留标题含 “保姆级” 作品3.聚合指标AVG(total_interaction) → avg_interactionCOUNT(id) → sample_count4.配置【增加常量】组件feature_name 保姆级组件作用聚合后仅保留数值字段新增常量文本标签作为关联匹配键。步骤 4记录集连接合并 均值数据1.拖拽【记录集连接】组件至画板两个输入分别为「整体均值分支」「保姆级关键词分支」2.关联字段设置为feature_name采用内连接3.连接后单条数据同时包含关键词均值、平台整体均值、样本数量。步骤 5表输出写入汇总表1.组件下游接入【表输出】目标表选择title_feature_analysis2.关键配置取消勾选运行前裁剪表后续其他关键词数据追加写入不删除已有记录3.核对全部字段映射关系。步骤 6批量复制分支完成全部关键词统计 执行1.完整复制 “保姆级” 整套分支仅修改两处配置过滤条件依次替换为has_lowcode1、has_practice1、has_tutorial1、has_pit1常量 feature_name对应改为 “零代码”“实战”“教程 / 指南”“踩坑”2.依次运行 5 套关键词统计转换流3.数据探查选title_feature_analysis表确认 5 个关键词、对应平台均值、样本数量全部入库。接下来加工其他关键词的数据只修改两处过滤条件如 has_lowcode 1和常量值如 零代码然后运行转换流。其他组件配置完全相同。三、实验结果3.1 输出成果 1更新后的 content_analysis 作品明细表1.数据粒度单条作品一条记录2.新增字段total_interaction总互动、5 个标题 0/1 二分类特征3.数据价值该明细表可支撑单作品排行、日度流量趋势、单篇互动效果等多维度分析同时也是 BI 看板的底层数据来源并可作为建模样本集导出使用。3.2 输出成果 2新建 title_feature_analysis 关键词汇总表1.数据粒度单个关键词单条统计记录2.数据内容存储各关键词平均互动、平台整体均值、对应作品样本量3.业务价值通过计算各关键词作品的平均互动水平与平台整体基准的比值量化不同标题话术对互动数据的提升幅度为内容标题策略提供数据支撑。3.3 数据验证结论1.数值特征校验total_interaction 计算逻辑无误无负数、空值2.文本特征校验关键词匹配准确不存在 0/1 赋值错乱3.聚合统计校验各关键词样本计数、平均互动数值逻辑合理可支撑对比分析。四、实验过程问题与解决问题一JS代码运行后数据表无5个特征字段现象JS 代码组件执行无报错但数据探查发现 content_analysis 表中不存在 has_best、has_lowcode 等 5 个标题特征字段。原因目标数据表在运行前未提前创建对应的字段结构。JS 组件只能输出计算后的数据流无法自动修改目标表结构引擎找不到目标字段因此特征数据无法写入。解决方案进入表管理界面手动为 content_analysis 表新增 5 个 TINYINT 类型字段分别命名为 has_best、has_lowcode、has_practice、has_tutorial、has_pit。新增完成后重新执行转换流特征数据正常回填。问题二多次运行插入更新组件数据总量持续翻倍现象重复执行明细更新转换流后content_analysis 表中的记录数持续增加出现大量重复数据。原因插入更新组件未配置主键匹配字段。组件默认按全字段匹配或未绑定唯一标识导致无法识别已有记录每次运行时将数据全部作为新记录插入。解决方案在插入更新组件的配置中将匹配关键字设置为 id作品唯一标识并确认需要更新的字段映射正确。修改后再次运行组件按 id 匹配已存在的记录执行更新操作不再新增重复行。问题三关键词合并后整体均值字段全部为空现象记录集连接组件执行后overall_avg平台整体平均互动字段全部为空无法与关键词均值进行对比。原因两个分支中用于关联匹配的常量字段值不一致。整体均值分支设置的常量值为 整体均值而关键词分支设置的常量值为 整体平均匹配字段值不完全相同导致内连接失败整体均值无法关联到对应记录。解决方案统一两条分支的关联常量值将整体均值分支和关键词分支的常量均设置为 整体均值。修改后重新运行记录集连接数据正常关联overall_avg 字段填充成功。五、实验总结5.1实验收获1. 掌握特征工程完整实操逻辑通过本次实验能够清晰区分连续数值衍生特征与离散文本二分类特征两类特征工程方法并理解两类特征在统计分析、机器学习建模中的不同应用场景。数值特征如 total_interaction适用于回归、聚类等任务文本离散特征如 5 个二分类标签适用于分类任务和分组对比分析。2. 熟练使用助睿 ETL 核心进阶组件掌握了 JS 自定义代码组件实现标题关键词文本挖掘的方法能将非结构化标题文本转化为结构化二分类标签理解了计算器组件完成数值型字段衍生计算的配置方式熟悉了插入更新组件实现增量数据回填的操作流程以及多分支复制批量完成分组统计的高效加工模式。3. 建立分层数据分析思维形成了“先明细层加工、后汇总层聚合”的分层数据处理思路。明细更新流完成单作品粒度的特征回填关键词统计流完成关键词维度的汇总统计一套清洗数据支撑作品级明细分析与标题策略对比分析两个应用场景避免重复抽取数据。4. 理解零代码平台的扩展能力当平台内置组件无法直接完成文本匹配等复杂逻辑时可通过 JS 自定义脚本扩展处理能力。助睿 ETL 在提供零代码拖拽便捷性的同时保留了脚本扩展接口兼顾了易用性与灵活性的平衡能够适配教学场景中较为复杂的特征工程需求。5.2平台评价助睿数智 Uniplore 一站式平台完整覆盖了 ETL 清洗、特征工程、可视化展示的整套实训链路助睿 ETL 内置的计算器、JS 自定义代码等组件能够较好地适配特征工程教学场景。零代码拖拽模式降低了操作门槛同时开放脚本能力满足文本处理、复杂指标计算等进阶需求。分支复制、记录集连接等组件简化了多维度分组统计操作数据表增量更新功能解决了重复运行产生脏数据的痛点整体流程贴合企业真实数据处理工作流。5.3后续应用方向更新后的 content_analysis 明细表可直接导出为机器学习建模样本集用于分类、回归等模型训练title_feature_analysis 关键词汇总表可接入 BI 可视化看板用于标题策略效果对比分析。后续可将两部分成果串联从特征工程直接过渡到建模与可视化展示阶段实现数据清洗、特征工程、建模、可视化的全链路贯通。