分位数回归与分组回归：从概念混淆到Python实战的清晰指南

在数据科学和计量经济学的日常工作中，我们常常会遇到一些听起来相似、但内核截然不同的分析方法。分位数回归和分组回归就是一对典型的“易混淆组合”。新手可能会望文生义，认为“分位数”不就是一种“分组”方式吗？甚至在一些不那么严谨的讨论或代码实践中，直接将因变量按分位数切割后做回归，并冠以“分位数回归”之名。这种混淆不仅会导致方法误用，更可能让分析结论偏离真实，在严肃的商业决策或学术研究中埋下隐患。

今天，我们就来彻底厘清这对概念。本文不会停留在枯燥的定义对比上，而是直接切入Python实战，通过手把手的代码演示、结果对比和场景剖析，让你直观地感受到：分位数回归是在探索自变量如何影响因变量的“整个分布形态”，比如它如何影响中位数、高分位点；而分组回归则是在探究“不同子群体”内部的关系是否一致。至于“将y按分位数分组回归”，我们将看到，它本质上是一种特殊的分组策略，其逻辑和输出与真正的分位数回归大相径庭。理解这些差异，能帮助你在面对异质性数据、非对称分布或群体差异问题时，精准地选用工具，让数据讲述更真实的故事。

1. 核心理念辨析：它们到底在解决什么问题？

在深入代码之前，我们必须从第一性原理上理解这两种方法的根本目标。这就像选择工具，用螺丝刀去敲钉子，不是工具不好，而是用错了地方。

分位数回归的核心思想是放弃对“条件均值”的单一关注，转而去估计“条件分位数”。传统的最小二乘回归回答的问题是：“当X变化一个单位，Y的平均值会如何变化？”而分位数回归追问的是：“当X变化一个单位，Y的中位数（或第10个百分位数、第90个百分位数）会如何变化？”这对于处理存在厚尾、异方差或异常值的数据至关重要。例如，研究教育投入对收入的影响，OLS可能告诉你平均效应，但分位数回归能揭示这笔投入对低收入群体（收入分布的底部分位数）和高收入群体（顶部分位数）的影响是否不同，这种差异往往是政策制定的关键。

注意：分位数回归的“分位数”是针对因变量Y的条件分布而言的，模型直接估计的是给定X时，Y的某个分位点的值。

分组回归的逻辑则更为直观：它基于某个或某几个分类特征（如性别、地区、客户等级），将总体样本划分为互斥的组，然后在每个组内独立地运行一个回归模型（通常是OLS）。它的核心目标是检验“关系是否因组而异”。比如，建立一个全国性的消费模型，不如分别建立东部、中部、西部的消费模型，因为影响消费的因素及其强度很可能存在地域差异。分组回归的结果是得到多组不同的回归系数，通过比较这些系数来理解异质性。

至于将y按分位数分组回归，这是一种常见的操作误区。其步骤是：先计算因变量Y的样本分位数（如中位数），然后以该分位数为界，将样本划分为“高Y值组”和“低Y值组”，最后对两组分别进行OLS回归。这本质上是一种基于结果变量的事后分组，属于分组回归的范畴，而非分位数回归。因为它丢失了分位数回归最核心的优势——在同一个模型框架内，连续地、一致地估计整个条件分布，并且其系数估计的统计性质也与标准分位数回归不同。

为了更清晰地展示三者的区别，我们用一个简单的对比表格来概括：

特征维度	分位数回归	分组回归	将Y按分位数分组回归
分析单元	因变量的条件分布（多个分位点）	基于预定义特征的子群体	基于因变量取值划分的子群体
模型数量	一个模型，输出多套系数（每个分位数一套）	多个独立模型（每组一个）	多个独立模型（每组一个）
目标	揭示X对Y分布不同位置（如尾部、中心）的差异化影响	比较不同子群体中X与Y关系的差异	比较“高Y值”和“低Y值”群体中X与Y关系的差异
数据使用	使用全部数据同时估计所有分位数	将数据拆分，每组用部分数据独立估计	将数据拆分，每组用部分数据独立估计
典型问题	“教育如何影响收入分布的不同阶层？”	“教育对收入的影响在男性和女性中相同吗？”	“高收入人群和低收入人群中，教育回报率各是多少？”

2. Python环境准备与数据构建

理论需要实践的检验。让我们搭建一个Python环境，并构造一份能够凸显两者差异的模拟数据。我们将使用 statsmodels 和 sklearn 这两个核心库。

# 导入必要的库
import numpy as np
import pandas as pd
import statsmodels.api as sm
import statsmodels.formula.api as smf
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
import seaborn as sns

# 设置随机种子保证结果可复现
np.random.seed(42)

接下来，我们生成一份模拟数据。假设我们研究“学习时间（X）”对“考试成绩（Y）”的影响。我们故意让数据呈现两个特点：1）存在异方差，即学习时间的增加，不仅提高了平均成绩，也加大了成绩的波动性；2）存在一个明显的子群体（例如，是否参加过考前培训），该群体内的学习效率不同。

# 生成样本量
n = 500

# 生成自变量：学习时间（小时），范围从1到10
X = np.random.uniform(1, 10, n)

# 模拟异方差：误差项的标准差随X增大而增大
epsilon = np.random.randn(n) * (0.5 + 0.2 * X)  # 标准差 = 0.5 + 0.2*X

# 生成因变量：基础模型为 Y = 50 + 5*X + epsilon
Y = 50 + 5 * X + epsilon

# 引入一个分组变量：是否参加培训 (0=未参加， 1=参加)
# 假设参加培训的学生，学习效率更高（斜率更大），且基础分更高（截距更大）
group = np.random.binomial(1, 0.4, n)  # 40%的学生参加了培训
Y = Y + group * (10 + 1.5 * X)  # 参加培训组额外增加的部分

# 创建DataFrame
df = pd.DataFrame({'学习时间_X': X, '考试成绩_Y': Y, '培训分组': group})
df['培训分组'] = df['培训分组'].map({0: '未培训', 1: '已培训'})

# 查看数据前几行
print(df.head())

这份数据中，考试成绩_Y 同时受到 学习时间_X（正向影响，且存在异方差）和 培训分组（改变截距和斜率）的影响。一个简单的OLS回归会给出一个“平均”关系，但会掩盖很多有趣的细节。

3. 实战解析一：标准分位数回归的实现与解读

现在，让我们使用 statsmodels 来实现分位数回归。我们将估计第0.1、0.5（中位数）、0.9三个分位数的回归线。

# 使用statsmodels的QuantReg进行分位数回归
# 首先为自变量添加常数项（截距）
X_with_const = sm.add_constant(df[['学习时间_X']])

# 指定要估计的分位数
quantiles = [0.1, 0.5, 0.9]
results_qr = {}

for q in quantiles:
    # 创建并拟合分位数回归模型
    mod = sm.QuantReg(df['考试成绩_Y'], X_with_const)
    res = mod.fit(q=q, max_iter=1000)  # max_iter确保收敛
    results_qr[q] = res
    print(f"\n=== 分位数回归结果 (tau={q}) ===")
    print(res.summary())

运行后，你会得到三张类似OLS的回归结果表。关键要看的是 学习时间_X 的系数。我们把这些系数和OLS的系数放在一起比较会更直观。

# 同时运行一个OLS回归作为基准
ols_model = sm.OLS(df['考试成绩_Y'], X_with_const).fit()
print("\n=== OLS回归结果（条件均值）===")
print(ols_model.summary())

# 提取并对比系数
coef_comparison = pd.DataFrame({
    'OLS (均值)': [ols_model.params['const'], ols_model.params['学习时间_X']],
    'QR tau=0.1 (低分位)': [results_qr[0.1].params['const'], results_qr[0.1].params['学习时间_X']],
    'QR tau=0.5 (中位数)': [results_qr[0.5].params['const'], results_qr[0.5].params['学习时间_X']],
    'QR tau=0.9 (高分位)': [results_qr[0.9].params['const'], results_qr[0.9].params['学习时间_X']],
}, index=['截距', '学习时间_系数'])
print("\n=== 系数对比表 ===")
print(coef_comparison)

解读与发现： 从系数对比表中，你很可能观察到以下模式：

• OLS系数：代表学习时间对平均成绩的影响。
• 分位数回归系数：
  • tau=0.5（中位数）的系数通常与OLS系数接近，但在异方差数据中也可能不同。
  • tau=0.1（低分位）的系数：反映了学习时间对“成绩较差”的那部分学生的影响。如果这个系数小于中位数系数，说明增加学习时间对提升“学困生”成绩的效果相对较弱。
  • tau=0.9（高分位）的系数：反映了学习时间对“成绩优异”学生的影响。如果这个系数大于中位数系数，说明“学霸”们能更有效地将学习时间转化为成绩提升。

这种差异正是分位数回归的价值所在。它告诉我们，X对Y的影响不是均质的，而是在Y分布的不同位置上强度不同。我们可以通过可视化来强化这一认知。

# 可视化分位数回归结果
plt.figure(figsize=(10, 6))
sns.scatterplot(x=df['学习时间_X'], y=df['考试成绩_Y'], alpha=0.6, label='数据点')

# 绘制OLS拟合线（条件均值）
x_plot = np.linspace(df['学习时间_X'].min(), df['学习时间_X'].max(), 100)
X_plot_const = sm.add_constant(x_plot)
y_ols = ols_model.predict(X_plot_const)
plt.plot(x_plot, y_ols, color='black', linewidth=3, label='OLS (均值)')

# 绘制不同分位数的拟合线
colors = ['red', 'green', 'blue']
for q, color in zip(quantiles, colors):
    y_qr = results_qr[q].predict(X_plot_const)
    plt.plot(x_plot, y_qr, color=color, linestyle='--', linewidth=2, label=f'QR (tau={q})')

plt.xlabel('学习时间 (X)')
plt.ylabel('考试成绩 (Y)')
plt.title('分位数回归 vs OLS回归：揭示分布不同位置的影响')
plt.legend()
plt.grid(True, alpha=0.3)
plt.show()

这张图会清晰地展示出几条斜率不同的虚线（分位数回归线）围绕在黑色实线（OLS线）周围。如果这些线不平行，甚至交叉，就强有力地证明了X对Y的影响在整个条件分布上是异质的。

4. 实战解析二：分组回归的实现与对比

接下来，我们实施分组回归。这里的分组依据是预先定义的 培训分组 变量。我们要分别对“已培训”和“未培训”两组学生建立回归模型。

# 方法1：使用循环分别拟合
groups = df['培训分组'].unique()
results_gr = {}

for g in groups:
    df_group = df[df['培训分组'] == g]
    X_g = sm.add_constant(df_group[['学习时间_X']])
    y_g = df_group['考试成绩_Y']
    model = sm.OLS(y_g, X_g).fit()
    results_gr[g] = model
    print(f"\n=== 分组回归结果 - {g} ===")
    print(model.summary())

# 方法2：使用statsmodels的公式API更简洁地获取系数对比
model_gr_compact = smf.ols('考试成绩_Y ~ 学习时间_X * 培训分组', data=df).fit()
print("\n=== 包含交互项的合并模型（便于检验组间差异）===")
print(model_gr_compact.summary())

解读与发现： 分组回归的结果会给出两套独立的回归方程。通过比较，你可能会发现：

• 截距差异：“已培训”组的截距显著高于“未培训”组，这意味着即使学习时间为0，参加过培训的学生也有一个更高的基础成绩预期。
• 斜率差异：“已培训”组 学习时间_X 的系数也更大，这表明对于参加过培训的学生，每增加一单位学习时间，所带来的成绩提升幅度更大。

交互项模型的结果则更直接地提供了统计检验。学习时间_X:培训分组[T.已培训] 这个交互项的系数，就代表了“已培训”组与“未培训”组在斜率上的差异是否显著不为0。如果P值很小，我们就有了统计证据支持“培训改变了学习时间的效率”这一结论。

让我们也将分组回归的结果可视化：

# 可视化分组回归结果
plt.figure(figsize=(10, 6))
sns.scatterplot(x=df['学习时间_X'], y=df['考试成绩_Y'], hue=df['培训分组'], alpha=0.6)

# 为每组绘制拟合线
for g, color in zip(['未培训', '已培训'], ['blue', 'orange']):
    df_g = df[df['培训分组'] == g]
    X_g = sm.add_constant(df_g[['学习时间_X']])
    model = results_gr[g]
    # 预测线需要基于该组X的范围
    x_range = np.linspace(df_g['学习时间_X'].min(), df_g['学习时间_X'].max(), 50)
    X_range_const = sm.add_constant(x_range)
    y_pred = model.predict(X_range_const)
    plt.plot(x_range, y_pred, color=color, linewidth=3, label=f'{g}组拟合线')

plt.xlabel('学习时间 (X)')
plt.ylabel('考试成绩 (Y)')
plt.title('分组回归：揭示不同子群体的关系差异')
plt.legend()
plt.grid(True, alpha=0.3)
plt.show()

这张图会显示两组颜色不同的散点，以及两条斜率不同的拟合线。它直观地告诉我们，关系模式因“培训”状态这个分组变量而不同。

5. 辨析误区：将Y按分位数分组回归

最后，我们来演示那个常见的混淆操作：“将Y按分位数分组回归”。我们将按考试成绩Y的中位数，将学生分为“高分组”和“低分组”，然后分别回归。

# 按Y的中位数进行分组
median_y = df['考试成绩_Y'].median()
df['Y分组'] = np.where(df['考试成绩_Y'] >= median_y, '高分组', '低分组')

# 对两组分别进行OLS回归
y_groups = df['Y分组'].unique()
results_ygroup = {}

for yg in y_groups:
    df_yg = df[df['Y分组'] == yg]
    X_yg = sm.add_constant(df_yg[['学习时间_X']])
    y_data = df_yg['考试成绩_Y']
    model = sm.OLS(y_data, X_yg).fit()
    results_ygroup[yg] = model
    print(f"\n=== Y按分位数分组回归结果 - {yg} (阈值={median_y:.2f}) ===")
    print(model.summary())

# 与真正的分位数回归中位数(tau=0.5)结果对比
print("\n*** 关键对比 ***")
print(f"真正的分位数回归(tau=0.5) - 学习时间系数: {results_qr[0.5].params['学习时间_X']:.4f}")
print(f"Y高分组OLS - 学习时间系数: {results_ygroup['高分组'].params['学习时间_X']:.4f}")
print(f"Y低分组OLS - 学习时间系数: {results_ygroup['低分组'].params['学习时间_X']:.4f}")

核心辨析： 运行这段代码后，你会发现“高分组”和“低分组”的回归系数与真正的分位数回归中位数系数 完全不同。原因在于：

1. 样本选择偏差：按Y值分组，导致分组变量与误差项相关，违反了OLS经典假设。高分组包含了大量正向误差的个体，低分组包含了大量负向误差的个体。这使得组内回归系数估计是有偏的。
2. 目标不同：分位数回归的 tau=0.5 模型，是用全部数据拟合出的一条线，使得有一半的数据点在这条线之上，一半在下。而“Y按分位数分组回归”是先割裂数据，然后在两个子集上分别找一条最小化各自残差平方和的线。这两个优化目标在数学上不等价。
3. 信息损失：分位数回归可以同时、连贯地估计所有分位数，系数变化趋势本身包含重要信息。而分组回归割裂了这种连续性。

简单来说，“将Y按分位数分组回归”是一种探索性数据分析方法，可以用来观察不同Y水平下X-Y关系的表象差异，但绝不能将其结果解释为分位数回归的估计值，其系数的经济学或统计学解释是存在严重问题的。

6. 如何根据场景选择正确的方法？

经过上面的理论和实战剖析，选择变得清晰。这里提供一个决策参考：

• 当你关心解释变量如何影响结果变量的整个分布，尤其是尾部或特定百分位点时，使用分位数回归。

  • 典型场景：研究税收政策对不同收入阶层的影响；分析药物剂量对患者康复时间分布（不仅关心平均康复时间，也关心恢复最慢的10%患者）的影响；金融中研究风险（VaR）等。
  • Python工具：statsmodels.regression.quantile_regression.QuantReg

• 当你拥有明确的分类特征，并想比较不同类别子群体中变量关系的差异时，使用分组回归。

  • 典型场景：比较营销策略在男性和女性客户中的效果差异；分析某项政策在试点城市和非试点城市的异同；研究产品功能在不同操作系统上的用户体验差异。
  • Python工具：可以通过 statsmodels 的公式API（如 y ~ x * group）配合交互项，或直接用 pandas.groupby 结合循环进行分组拟合。

• “将Y按分位数分组回归”应谨慎使用，仅作为初步的探索性分析，且需明确意识到其局限性，避免做出因果推断。 如果目的是研究Y的条件分布，请直接使用标准的分位数回归。

在实际项目中，这两种方法甚至可以结合使用。例如，先按行业（分组变量）划分数据，然后在每个行业内部分别进行分位数回归，以探究同一行业内，自变量对因变量分布不同位置的影响。这种分层分位数的思路能提供极其细腻的洞察。

理解分位数回归和分组回归的差异，本质上是理解你的研究问题究竟是在追问“影响如何随结果分布的位置而变化”，还是在追问“影响如何随样本的先天特征而变化”。厘清这一点，你的数据分析工具箱就又多了一份精准与清晰。