一、实验背景1.1 实验目的本次实验依托助睿 ETL 工具完成自媒体多平台原始数据清洗与预处理是特征工程、可视化建模前的基础环节。通过本次我们需要掌握以下内容理解数据清洗在数据分析、机器学习流程中的前置必要性识别脏数据对后续建模、统计计算的干扰。熟练使用助睿 ETL 拖拽式组件完成多条件过滤、空值填充、分组聚合、字段筛选等标准化预处理操作。掌握 ETL 分支分流设计思路区分全平台大盘统计、重点平台深度明细两类数据处理逻辑。产出两张标准化数据表分别供给仪表盘指标卡、下一阶段特征工程使用。1.2 实验环境平台全称助睿数智Uniplore一站式数据科学实验平台官网地址https://www.uniplore.com/实验访问地址https://lab.guilian.cn/核心处理工具助睿 ETLUD Studio数据集成模块工具核心特性零代码可视化 Pipeline无需编写 SQL、Python 即可完成 ETL 全流程内置 200 数据转换组件覆盖清洗、聚合、关联、文本处理等场景元数据统一管理数据表跨实验可复用适配完整数据链路流批一体引擎支持 CSV、数据库等多类数据源接入。6.实验数据集 数据源文件自媒体作品数据明细.csv数据范围6 月 8 日 - 6 月 15 日全班学生在 B 站、CSDN、微信、知乎、小红书发布的作品互动明细 数据缺陷多平台无效记录、文本字段空值、冗余采集字段、分平台差异化互动指标。1.3 数据清洗的必要性原始采集数据存在三类脏数据直接用于分析、机器学习会引发统计失真、代码报错三类脏数据以下所示平台冗余脏数据微信、知乎、小红书绝大部分浏览量为 0无有效分析价值保留会稀释流量数据。无效业务记录部分作品浏览、点赞、收藏全部为 0属于失效采集或零曝光内容不适合深度分析。缺失字段标题、作者名称存在空值后续文本特征提取、分组统计会出现空值报错。 数据清洗核心目标剔除无效数据、补齐缺失内容、规范字段结构拆分两套数据分别适配不同分析场景。1.4 整体数据处理流程原始 CSV 数据源导入 → 使用“复制记录”做双分支分流 分支 1全平台汇总管线排序→分组聚合→输出全平台总表summary_all_platforms分支 2重点平台清洗管线多条件过滤→缺失值填充→精简字段→输出明细清洗表content_analysis两张数据表分工汇总表用于大盘总览指标清洗明细表作为特征工程、可视化明细分析输入。二、具体实验步骤2.1创建两张目标数据表进入助睿 ETL 表管理模块分别新建两张结构化数据表提前定义字段名称、数据 类 型与业务含义为后续表输出做准备。summary_all_platforms全平台汇总表字段名数据类型配置说明crawl_dateDATE数据采集日期保留时间维度用于趋势统计platformVARCHAR(20)发布平台名称B 站 / CSDN / 微信 / 知乎 / 小红书content_countINT当日该平台发布作品总条数total_viewsINT平台全部作品总浏览量total_likesINT平台总点赞数量total_favoritesINT平台总收藏数量total_sharesINT平台总分享数量total_coinsINTB 站专属投币量其他平台自动聚合为 0total_recommendINT微信专属推荐指标total_likes_zhihuINT知乎专属喜欢指标total_approvalsINT知乎专属赞同指标不做任何数据过滤完整保留全部平台数据各平台独有互动指标独立建列不合并求和保证各平台业务指标可区分。DROP TABLE IF EXISTS summary_all_platforms;CREATE TABLE IF NOT EXISTS summary_all_platforms (id INT AUTO_INCREMENT PRIMARY KEY COMMENT 自增主键ID,crawl_date DATE NOT NULL COMMENT 采集日期,platform VARCHAR(20) NOT NULL COMMENT 平台名称,content_count INT COMMENT 作品数量,total_views INT COMMENT 总浏览数,total_likes INT COMMENT 总点赞数,total_favorites INT COMMENT 总收藏数,total_shares INT COMMENT 总分享数,total_coins INT COMMENT 总投币数仅B站,total_recommend INT COMMENT 总推荐数仅微信,total_likes_zhihu INT COMMENT 总喜欢数仅知乎,total_approvals INT COMMENT 总赞同数仅知乎) ENGINE InnoDB DEFAULT CHARSET utf8mb4 COMMENT 全平台概况汇总表;content_analysis重点平台清洗明细表字段名数据类型配置说明dateDATE采集日期author_nameVARCHAR(100)作品作者昵称titleVARCHAR(500)作品标题platformVARCHAR(20)仅存储 B 站、CSDNlikes/favorites/shares/coinsINT基础互动指标viewsINT播放 / 阅读量urlVARCHAR(500)作品外链total_interactionINT预留字段下一实验计算总互动has_best/has_lowcode/has_practice/has_tutorial/has_pitTINYINT(1)预留标题关键词 0-1 特征字段预留衍生特征字段无需在本次实验填充为实验 7-2 特征工程预留存储空间。保存数据表结构配置界面留存字段类型、长度设置页面。DROP TABLE IF EXISTS content_analysis;CREATE TABLE IF NOT EXISTS content_analysis (id INT AUTO_INCREMENT PRIMARY KEY COMMENT 自增主键ID,date DATE NOT NULL COMMENT 采集日期,author_name VARCHAR(100) COMMENT 作者昵称,title VARCHAR(500) NOT NULL COMMENT 作品标题,platform VARCHAR(20) NOT NULL COMMENT B站 / CSDN,likes INT COMMENT 点赞数,favorites INT COMMENT 收藏数,shares INT COMMENT 分享数,coins INT COMMENT 投币数仅B站,views INT COMMENT 播放量/阅读量,url VARCHAR(500) COMMENT 作品链接,total_interaction INT COMMENT 互动总数,has_best TINYINT(1) COMMENT 是否含“保姆级” 0否1是,has_lowcode TINYINT(1) COMMENT 是否含“零代码” 0否1是,has_practice TINYINT(1) COMMENT 是否含“实战” 0否1是,has_tutorial TINYINT(1) COMMENT 是否含“教程/指南” 0否1是,has_pit TINYINT(1) COMMENT 是否含“踩坑” 0否1是) ENGINE InnoDB DEFAULT CHARSET utf8mb4 COMMENT 内容分析明细表实验二输入仅B站、CSDN有效数据;2.2 导入原始 CSV 数据源从平台公共资源库拷贝原始数据至个人文件库通过「文件输入」组件加载 CSV 作为整个 Pipeline 的数据源。在 ETL 公共空间找到自媒体作品数据明细.csv右键复制至个人私有文件库拖拽「文件输入」组件至画布文件路径选择个人库内目标文件点击「数据探查」预览原始数据记录空标题、零浏览、多平台混杂等脏数据现象。文件编码设置为 UTF-8开启自动识别表头数值字段统一识别为整数类型。原始数据预览探查截图记录脏数据样本。2.3分支 1—— 全平台聚合统计使用「复制记录」将原始数据流一分为二第一条分支完成全平台分组聚合输出大盘汇总表。拖拽「执行一个sql脚本」组件将输入数据分流为两条独立管线第一条管线依次添加「排序记录」、「分组聚合」组件排序组件配置按crawl_date、platform升序排序分组聚合配置分组字段为crawl_date、platform聚合规则content_count计数统计作品条数设置聚合字段删除作者名字、url、source_file、title字段后其余字段全部求和管线末端添加「表输出」组件绑定目标表summary_all_platforms不开启运行前裁剪表。聚合时保留平台专属指标不做跨平台指标合并。聚合组件参数配置截图、分支完整管线截图。2.4 分支 2—— 多条件过滤无效记录第二条清洗分支接入「过滤记录」组件剔除无分析价值平台与零曝光作品。 过滤逻辑表达式(platform B站 AND views 0) OR (platform CSDN AND views 0)条件区分字符串匹配平台名称与数值判断浏览量AND、OR 嵌套实现双重筛选仅保留 B 站 / CSDN同时剔除浏览量为 0 的作品运行过滤后预览数据确认不存在微信、知乎、小红书记录无 views0 数据。过滤条件编辑器配置截图、过滤后数据预览截图。2.5缺失值填充处理过滤完成后接入「空值替换」组件补齐作者、标题空文本避免后续文本处理报错。待填充字段author_name、title填充规则空值统一替换文本未知数值互动字段无空值无需配置填充规则。区分文本空值、数值空值两套处理逻辑不统一填充数字。空值替换组件配置界面截图。2.6字段选择精简使用「字段选择」剔除采集冗余字段仅保留业务分析所需字段。 剔除字段source_file采集批次标记无分析意义 保留字段date, author_name, title, platform, likes, favorites, shares, coins, views, url勾选「移除未选中字段」减少数据表冗余存储提升后续计算效率。字段筛选配置界面截图。2.7 输出清洗明细表字段筛选后接入「表输出」组件将清洗完成明细写入content_analysis。勾选「运行前清空表」保证每次实验产出干净无重复的明细数据。2.8完整转换流执行与数据验证检查两条分支组件连线、字段映射无报错点击画布顶部「运行」执行整条 ETL 流水线。运行结束后分别打开两张目标表执行数据探查验证标准summary_all_platforms包含 5 个平台所有日期汇总数据content_analysis仅存在 B 站、CSDN 有效作品无标题 / 作者空值无冗余字段完整 Pipeline 流程图、两张数据表最终探查结果截图。三、实验结果产出数据表 1summary_all_platforms存储 6.8-6.15 全平台按日期聚合汇总数据完整记录各平台作品总量、总浏览、分平台特色互动指标共包含 5 个平台统计记录可直接用于仪表盘顶部大盘指标卡。产出数据表 2content_analysis完成脏数据剔除、空值补齐、字段精简后的有效作品明细仅保留 B 站、CSDN 浏览量大于 0 的内容无缺失文本字段结构规范作为实验 7-2 特征工程的基础输入数据源。数据对比验证原始 CSV 约 1900 条原始记录经过滤清洗后有效明细数据约 1200 条剔除全部无业务分析价值的脏数据数据质量满足后续统计、文本特征提取需求。四、问题与解决问题 1过滤组件执行后仍存在浏览量 0 的记录问题现象配置完多条件过滤数据预览依旧出现 views0 的 B 站、CSDN 作品。解决方法在过滤组件前新增「类型转换」组件将 views 统一转换为 INT 整数类型重新运行过滤流程。问题 2分组聚合后平台专属指标全部显示 0问题现象summary_all_platforms 表中 B 站投币、知乎赞同数值均为 0和原始数据不符。解决方法重新核对聚合组件字段映射关系分平台指标单独配置求和规则。五、实验总结通过本次实验我系统掌握了数据清洗的完整业务流程与核心逻辑。可独立甄别平台中的出现的问题同时也认识到了脏数据对数据分析的不利会直接干扰后续数据分析的特征提取数据可视化呈现及其机器学习模型训练的整体效果影响数据分析结果的准确性和可靠性。并且在实操方面我也更加熟练的掌握了助睿ETL数据预处理的核心工具的使用方法精通零代码操作能够灵活运用多条件与与组合筛选文本空直补全数据分组统计聚合无用字段删除等处理方法使我完成数据预处理的能力进一步加强。