AI 训练师 · 实操路线

从数据到模型,一步一步学会。

把每次练习都变成一条可复现的流程:先看懂数据,再把数据治理干净,最后让模型学会、被检验、能保存。

查看完整路线 ↓
当前主线数据工程 → 模型训练
01读CSV
02清文本
03训模型
04分文本
# 今天已经走到这里model.fit(X_train, y_train)

学习地图

三天,搭起一条完整闭环

01

基础 · 数据观察

先把数据看懂,再谈模型

已完成基础练习

这一日的目标不是“写很多代码”,而是形成一个习惯:任何数据拿到手,先确认结构、类型、空值、重复和分布。

✦ 必会动作

  • pd.read_csv()把 CSV 读成 DataFrame
  • df.shape确认行数和列数
  • df.isna().sum()检查每列缺失值
  • value_counts()看类别是否均衡

! 容易写错

  • df["a", "b"]多列必须是两层方括号
  • df.detype()查看类型是 dtypes
  • df.DataFrame()创建新表要用 pd.DataFrame()
02

数据工程 · 知识库治理

把脏数据变成可训练的数据

已完成核心练习

清洗不是把数据“改得好看”,而是让每一条记录结构统一、敏感信息被保护、标签关系可验证。

✦ 治理顺序

  • re.sub()删除 HTML、合并空白
  • mask_sensitive()手机号、邮箱、身份证脱敏
  • sort_values() → drop_duplicates()先排序再保留最小 ID
  • .loc[]按条件修改标签和质量标记

! 关键易错点

  • and / orpandas 条件用 &、| 且每段加括号
  • df = df.loc[...] = x修改时不要把 DataFrame 赋值掉
  • inplace=True不要和变量重新赋值混用
03

模型训练 · 评估与保存

让模型学会,也让结果可信

已跑通训练闭环

先切分,再用训练集学习标准化规则;只对训练集做 SMOTE;最后用没有增强的验证集检验模型。

✦ 训练主线

  • X / y特征输入和标签答案
  • fit_transform / transform训练集学习,验证集只转换
  • SMOTE.fit_resample()只补训练集的少数类
  • joblib.dump()把模型、scaler、特征列一起保存

! 关键易错点

  • Series(X_2d)二维特征不能直接转成一维 Series
  • SMOTE(valid)验证集和测试集不能增强
  • fit_transform(valid)会让验证集参与学习,造成泄漏

复习方式

把概念变成手感

每次只做一小步,做完就勾掉
01

先说出来

不看代码,用一句话解释这个函数的输入、输出和用途。

↗
02

再跑起来

把练习文件运行一次,先看结果,再处理报错。

↗
03

最后复盘

把今天遇到的错误写进复习页,第二天先看它。

↗

对应竞赛技术文件

你正在练的,正是实操主线

Day 1–2 对应第二场模块 A 的数据工程;Day 3 对应模块 B 的特征预处理和模块 C 的训练评估基础。下一步会从 TF-IDF 文本分类进入 LoRA。

模块 A数据工程清洗 · 去重 · 质量
→
模块 B特征预处理Scaler · SMOTE
→
模块 C训练评估分类 · LoRA