TabFM:零样本表格基础模型

TabFM 是谷歌研究基金会用于表化数据的模型。 它采用上下文学习,训练行作为上下文传递,预测通过一次前向传递完成,无需微调、超参数搜索或数据集特定训练。 它支持二元和多类别分类(最多10个类别),并支持在混合数值和类别列的表格上进行回归分析。

本笔记本在乳腺癌数据集上运行零样本分类,并在糖尿病数据集上运行零样本回归。

注释

此示例需要Databricks AI环境版本6及以上。

连接到无服务器 GPU 计算

单击 “连接 ”下拉列表,然后选择“ 无服务器 GPU”。 打开 环境 侧面板,将 加速器 设置为 1xH100,然后选择 AI v6。

Requirements

  • 首次运行时,需要联网从 Hugging Face Hub 下载模型权重。
  • 一个存储为Databricks 机密的 Hugging Face 读取令牌。 在认证步骤中,将 hf_secret_key 和 hf_secret_scope 控件分别设置为您的密钥的作用域和键。
  • 模型权重根据 TabFM 非商业许可证 v1.0 获得许可。
  • 本笔记本包含 tabfm-1.0.0-pytorch 的源代码,版权归 Google Research 所有,该版本采用 Apache 2.0 许可证授权。

TabFM 预装在 Databricks AI 环境 6 版中,因此无需额外安装。

导入库文件

导入 PyTorch、scikit-learn 的数据集加载器和指标,以及从 tabfm 包中导入的 TabFMClassifier / TabFMRegressor,然后验证 GPU 是否可用。

import numpy as np
import pandas as pd
import torch

from sklearn.datasets import load_breast_cancer, load_diabetes
from sklearn.metrics import accuracy_score, roc_auc_score, mean_squared_error, r2_score
from sklearn.model_selection import train_test_split

from tabfm import TabFMClassifier, TabFMRegressor, tabfm_v1_0_0_pytorch as tabfm_v1_0_0

print(f"Torch version: {torch.__version__}")
print(f"CUDA available: {torch.cuda.is_available()}")
if torch.cuda.is_available():
    print(f"GPU: {torch.cuda.get_device_name(0)}")

用拥抱脸认证

将 hf_secret_key 和 hf_secret_scope 控件设置为 Databricks 密钥范围和密钥,用于存储你的 Hugging Face 读取令牌,然后登录,以便 Hub 客户端能够对下载进行身份验证。

from huggingface_hub import login

# Set these widgets to the Databricks secret scope and key that hold your Hugging Face read token.
dbutils.widgets.text("hf_secret_scope", "", "Hugging Face secret scope")
dbutils.widgets.text("hf_secret_key", "hf_token", "Hugging Face secret key")

hf_token = dbutils.secrets.get(
    scope=dbutils.widgets.get("hf_secret_scope"),
    key=dbutils.widgets.get("hf_secret_key"),
)
login(token=hf_token)

零样本分类

在 乳腺癌数据集 (569个样本,30个数值特征)上运行零样本分类。 添加一个从 mean radius 派生出的 radius_band 类别列,从而使输入表同时包含数值和类别两种类型。 TabFM通过训练行作为上下文传递,并在一次前向传递中预测测试标签。

加载并拆分分类数据集

加载乳腺癌数据集,添加一个派生的分类特征 radius_band,并按 80% 训练集 / 20% 测试集进行拆分,同时按目标变量分层。

breast = load_breast_cancer(as_frame=True)
clf_df = breast.frame.copy()
clf_df["radius_band"] = pd.qcut(
    clf_df["mean radius"],
    q=4,
    labels=["small", "medium", "large", "xlarge"],
).astype(str)

X_clf = clf_df.drop(columns=["target"])
y_clf = clf_df["target"]

X_train_clf, X_test_clf, y_train_clf, y_test_clf = train_test_split(
    X_clf,
    y_clf,
    test_size=0.2,
    random_state=42,
    stratify=y_clf,
)

display(X_train_clf.head(5))
print({
    "train_rows": len(X_train_clf),
    "test_rows": len(X_test_clf),
    "feature_count": X_train_clf.shape[1],
})

拟合与预测

加载分类模型权重,将所有训练行作为上下文示例传递,并预测测试集的类别标签和概率。 报告准确率和ROC-AUC。

tabfm_clf_model = tabfm_v1_0_0.load(model_type="classification")
tabfm_clf = TabFMClassifier(model=tabfm_clf_model)
tabfm_clf.fit(X_train_clf, y_train_clf)
clf_pred_proba = np.asarray(tabfm_clf.predict_proba(X_test_clf))
clf_pred = (clf_pred_proba[:, 1] >= 0.5).astype(int)

clf_results = pd.DataFrame({
    "actual": y_test_clf.reset_index(drop=True),
    "predicted": clf_pred.astype(int),
    "positive_class_probability": clf_pred_proba[:, 1],
})

accuracy = accuracy_score(y_test_clf, clf_pred)
roc_auc = roc_auc_score(y_test_clf, clf_pred_proba[:, 1])

print({
    "accuracy": round(float(accuracy), 4),
    "roc_auc": round(float(roc_auc), 4),
})
display(clf_results.head(10))

零射回归

对 糖尿病数据集 (442个样本,10个数值特征)进行零样本回归。 已添加一个分类 bmi_band 列。 TabFM预测每个检测样本的持续疾病进展分数。

加载并拆分回归数据集

加载糖尿病数据集,添加一个衍生的类别 bmi_band 特征,并将其拆分为80% 训练/20% 检验。

diabetes = load_diabetes(as_frame=True)
reg_df = diabetes.frame.copy()
reg_df["bmi_band"] = pd.qcut(
    reg_df["bmi"],
    q=4,
    labels=["low", "mid_low", "mid_high", "high"],
).astype(str)

X_reg = reg_df.drop(columns=["target"])
y_reg = reg_df["target"]

X_train_reg, X_test_reg, y_train_reg, y_test_reg = train_test_split(
    X_reg,
    y_reg,
    test_size=0.2,
    random_state=42,
)

display(X_train_reg.head(5))
print({
    "train_rows": len(X_train_reg),
    "test_rows": len(X_test_reg),
    "feature_count": X_train_reg.shape[1],
})

拟合与预测

加载回归模型权重,将所有训练行作为上下文示例传递,并预测测试集的连续得分。 给出 RMSE 和 R²。

tabfm_reg_model = tabfm_v1_0_0.load(model_type="regression")
tabfm_reg = TabFMRegressor(model=tabfm_reg_model)
tabfm_reg.fit(X_train_reg, y_train_reg)
reg_pred = np.asarray(tabfm_reg.predict(X_test_reg)).reshape(-1)

rmse = np.sqrt(mean_squared_error(y_test_reg, reg_pred))
r2 = r2_score(y_test_reg, reg_pred)

reg_results = pd.DataFrame({
    "actual": y_test_reg.reset_index(drop=True),
    "predicted": reg_pred,
})
reg_results["absolute_error"] = (reg_results["actual"] - reg_results["predicted"]).abs()

print({
    "rmse": round(float(rmse), 4),
    "r2": round(float(r2), 4),
})
display(reg_results.head(10))

后续步骤

要将此笔记本适配到另一个数据集,请加载一个 pandas DataFrame,分离出目标列,将分类列保留为字符串,拆分为训练集和测试集,然后替换为 TabFMClassifier 或 TabFMRegressor。 由于 TabFM 会将训练数据行作为上下文示例输入模型,内存占用会随着训练集大小增加而增长,因此对于大型表,建议先使用有代表性的样本,并将分类目标类别控制在 10 个或以下。

示例笔记本

TabFM:零样本表格基础模型

获取笔记本