13.1 pandas与模型代码的接口

模型开发的通常工作流是使用pandas进行数据加载和清洗，然后切换到建模库进行建模。开发模型的重要一环是机器学习中的“特征工程”。它可以描述从原始数据集中提取信息的任何数据转换或分析，这些数据集可能在建模中有用。本书中学习的数据聚合和GroupBy工具常用于特征工程中。

优秀的特征工程超出了本书的范围，我会尽量直白地介绍一些用于数据操作和建模切换的方法。

pandas与其它分析库通常是靠NumPy的数组联系起来的。将DataFrame转换为NumPy数组，可以使用.values属性：

  1. In [10]: import pandas as pd
  3. In [11]: import numpy as np
  5. In [12]: data = pd.DataFrame({
  6.    ....:     'x0': [1, 2, 3, 4, 5],
  7.    ....:     'x1': [0.01, -0.01, 0.25, -4.1, 0.],
  8.    ....:     'y': [-1.5, 0., 3.6, 1.3, -2.]})
  10. In [13]: data
  11. Out[13]: 
  12.    x0    x1    y
  13. 0   1  0.01 -1.5
  14. 1   2 -0.01  0.0
  15. 2   3  0.25  3.6
  16. 3   4 -4.10  1.3
  17. 4   5  0.00 -2.0
  19. In [14]: data.columns
  20. Out[14]: Index(['x0', 'x1', 'y'], dtype='object')
  22. In [15]: data.values
  23. Out[15]: 
  24. array([[ 1.  ,  0.01, -1.5 ],
  25.        [ 2.  , -0.01,  0.  ],
  26.        [ 3.  ,  0.25,  3.6 ],
  27.        [ 4.  , -4.1 ,  1.3 ],
  28.        [ 5.  ,  0.  , -2.  ]])

要转换回DataFrame，可以传递一个二维ndarray，可带有列名：

  1. In [16]: df2 = pd.DataFrame(data.values, columns=['one', 'two', 'three'])
  3. In [17]: df2
  4. Out[17]: 
  5.    one   two  three
  6. 0  1.0  0.01   -1.5
  7. 1  2.0 -0.01    0.0
  8. 2  3.0  0.25    3.6
  9. 3  4.0 -4.10    1.3
  10. 4  5.0  0.00   -2.0

笔记：最好当数据是均匀的时候使用.values属性。例如，全是数值类型。如果数据是不均匀的，结果会是Python对象的ndarray：

  1. In [18]: df3 = data.copy()
  3. In [19]: df3['strings'] = ['a', 'b', 'c', 'd', 'e']
  5. In [20]: df3
  6. Out[20]: 
  7.   x0    x1    y strings
  8. 0   1  0.01 -1.5       a
  9. 1   2 -0.01  0.0       b
  10. 2   3  0.25  3.6       c
  11. 3   4 -4.10  1.3       d
  12. 4   5  0.00 -2.0       e
  14. In [21]: df3.values
  15. Out[21]: 
  16. array([[1, 0.01, -1.5, 'a'],
  17.       [2, -0.01, 0.0, 'b'],
  18.       [3, 0.25, 3.6, 'c'],
  19.       [4, -4.1, 1.3, 'd'],
  20.       [5, 0.0, -2.0, 'e']], dtype=object)

对于一些模型，你可能只想使用列的子集。我建议你使用loc，用values作索引：

  1. In [22]: model_cols = ['x0', 'x1']
  3. In [23]: data.loc[:, model_cols].values
  4. Out[23]: 
  5. array([[ 1.  ,  0.01],
  6.        [ 2.  , -0.01],
  7.        [ 3.  ,  0.25],
  8.        [ 4.  , -4.1 ],
  9.        [ 5.  ,  0.  ]])

一些库原生支持pandas，会自动完成工作：从DataFrame转换到NumPy，将模型的参数名添加到输出表的列或Series。其它情况，你可以手工进行“元数据管理”。

在第12章，我们学习了pandas的Categorical类型和pandas.get_dummies函数。假设数据集中有一个非数值列：

  1. In [24]: data['category'] = pd.Categorical(['a', 'b', 'a', 'a', 'b'],
  2.    ....:                                   categories=['a', 'b'])
  4. In [25]: data
  5. Out[25]: 
  6.    x0    x1    y category
  7. 0   1  0.01 -1.5        a
  8. 1   2 -0.01  0.0        b
  9. 2   3  0.25  3.6        a
  10. 3   4 -4.10  1.3        a
  11. 4   5  0.00 -2.0        b

如果我们想替换category列为虚变量，我们可以创建虚变量，删除category列，然后添加到结果：

  1. In [26]: dummies = pd.get_dummies(data.category, prefix='category')
  3. In [27]: data_with_dummies = data.drop('category', axis=1).join(dummies)
  5. In [28]: data_with_dummies
  6. Out[28]: 
  7.    x0    x1    y  category_a  category_b
  8. 0   1  0.01 -1.5           1           0
  9. 1   2 -0.01  0.0           0           1
  10. 2   3  0.25  3.6           1           0
  11. 3   4 -4.10  1.3           1           0
  12. 4   5  0.00 -2.0           0           1

用虚变量拟合某些统计模型会有一些细微差别。当你不只有数字列时，使用Patsy（下一节的主题）可能更简单，更不容易出错。