1548 字
4 分钟
机器学习工具库入门
NumPy基础操作
numpy是Python中科学计算的基础包。它是一个Python库,提供多维数组对象、各种派生对象(例如掩码数组和矩阵)以及用于对数组进行快速操作的各种方法,包括数学、逻辑、形状操作、排序、选择、1/0、离散傅里叶变换、基本线性代数、基本统计运算、随机模拟等等。numpy的部分功能如下:
- ndarray,一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组
- 用于对整组数据进行快速运算的标准数学函数(无需编写循环)
- 用于读写磁盘数据的工具以及用于操作内存映射文件的工具
- 线性代数、随机数生成以及傅里叶变换功能
- 作为科学计算生态桥梁,提供统一的数组数据模型以及 C 等底层接口,使 Python 能方便地调用 C/C++/Fortran 编写的高性能数值计算代码,同时减少不同库之间的数据转换成本。
NumPy 常用函数分类表
| 基本数学 | 统计计算 | 比较运算 | 其他操作 | 去重操作 | 排序操作 |
|---|---|---|---|---|---|
np.sqrt(x) | np.sum(x) | np.greater(a, b) | np.concatenate((a, b)) | np.unique(x) | np.sort(x) |
np.exp(x) | np.mean(x) | np.less(a, b) | np.split(x, indices) | np.in1d(a, b) | x.sort() |
np.log(x) | np.median(x) | np.equal(a, b) | np.reshape(x, shape) | np.argsort(x) | |
np.sin(x) | np.std(x) | np.logical_and(a, b) | np.copy(x) | np.lexsort(keys) | |
np.abs(x) | np.var(x) | np.where(condition, x, y) | np.isnan(x) | ||
np.power(a, b) | np.min(x) / np.max(x) | ||||
np.round(x, n) | np.percentile(x, q) |
ndarray的特性
多维性
| 名称 | 维度 | 示例 | 备注 |
|---|---|---|---|
| 标量 | 0维 | 5,3.14 | 单个数字,无行列 |
| 向量 | 1维 | [1, 2, 3] | 只有行或列(一维数组) |
| 矩阵 | 2维 | [[1, 2], [3, 4]] | 严格的行列结构(二维表) |
| 张量 | ≥3维 | [[[1, 2], [3, 4]]] | 高阶数组(如 RGB 图像) |
同质性
一个多维数组中的所有元素数据类型一致,如果定义时出现了一个字符串,那么会将其他元素强制转换为字符串;如果在整数中出现浮点数,那么则会转换为浮点数(str > float > int)
高效性
属性:
- 尺寸 .shape
- 维度 .ndim
- 总元素个数 .size
- 元素类型 .dtype
- 矩阵转置 .T
- 单个元素占用的内存字节数 .itemsize
- 总内存占用量 .nbytes
- 内存存储方式(是否连续存储) .flags
数组的创建
| 用途 | 方法 |
|---|---|
| 基础构造 | np.array() , np.copy() |
| 预定义形状填充 | np.zeros() , np.ones() , np.empty() , np.full() |
| 基于数值范围生成 | np.arange() , np.linspace() , np.logspace() |
| 特殊矩阵生成 | np.eye() , np.diag() |
| 随机数组生成 | np.random.rand() , np.random.randn() , np.random.randint() |
| 高级构造方法 | np.array() , np.loadtxt() , np.fromfunction() |
- 基础构造: 适用于手动构建小规模数组或复制已有数据
- 预定义形状填充<用于快速初始化固定形状的数组>用于快速初始化固定形状的数组>(如全0占位、全1初始化)
- 基于数值范围生成: 生成数值序列,常用于模拟时间序列、坐标网格等
- 特殊矩阵生成<数学运算专用>数学运算专用>
- 随机数组生成<模拟实验数据>模拟实验数据>、初始化神经网络权重等场景
- 高级构造方法<处理非结构化数据>处理非结构化数据>(如文件、字符串)或通过函数生成复杂数组
基础构造,列表转换
np.array([1, 2, 3, 4], dtype=np.int64) #第二个形参默认为float64np.copy(array) #复制数组#
# 预定义形状 0矩阵 全1矩阵等np.zeros((3, 2)) # 尺寸,可以省略第二个参数生成一个一维数组np.ones((4, 3))
# 生成范围数列# 按跨度划分np.arange(start, stop, step, dtype=None)np.arange(0, 10) #从0到10的等差数列的一维数组 包头不含尾# 按元素个数划分np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) #按元素个数生成等差数列一维数组np.linspace(0,10,6,dtype=np.int64)np.logspace(start, stop, num=50, endpoint=True, base=10.0, dtype=None, axis=0) #按元素个数生成等比数列一维数组np.logspace(1,10,10,base=2.0,dtype=np.int64)
# 特殊矩阵# 单位矩阵np.eye(4,4,dtype=np.int64) #单位矩阵,默认float# 对角矩阵np.diag([1,2,3,4])数组的切片
arr = np.random.randint(1,100,(4,8)) #随机生成一个数组print(arr[2][4]) # 检索单个元素print(arr[2,4])print(arr[1,3:6])print(arr[1][3:6]) # 对某一行某一列切片print(arr[1:3,3:5]) # 从一个矩阵中切一个矩阵有且仅有一种写法print(arr[:,3]) # 筛选某一列print(arr[2][arr[2] > 50]) # 筛选某一行中大于50的元素print(arr[(arr > 10) & (arr < 50)]) # 多布尔值筛选必须要括号# 模型默认支持TrnsorFloat32class torch.nn.Linear(in_features,outfeatures,bias=True,dtype=None)矩阵运算
# 广播机制原理# 1arr1 = np.ones((4,5))print(arr1)print(arr1 + 3)print(arr1 * 2)print(arr1 - 1)print(arr1 / 2)print((arr1 + 1) ** 3) # 矩阵的标量的计算,标量会扩充成与该矩阵相同大小,元素全为该标量的矩阵,然后对应元素进行有关运算# 2a = np.array([[1,2,3],[4,5,6]])b = np.array([1,1,1])print(a+b) # 矩阵(mxn)与向量(n)进行计算时,向量首先会扩充成1xn的矩阵再以第一行的数据扩充成mxn的数据# 3a = np.array([3,2,1,4])b = np.array([[1],[2],[3]])print(a+b) # 行向量与列向量进行运算会相互扩充# 只有当两个数组的维度从后向前逐一比较时,对应维度要么相等,要么其中一个为 1(或缺失,视为 1),否则就会报错。
# 内积a = np.array([1, 2, 3, 4], dtype=np.int32)d = np.arange(6, 10)np.dot(a, d)# 矩阵乘法g1 = np.array([[1, 2],[3, 4]])g2 = np.array([[2, 0],[0, 2]])g1 @ g2 # or np.matmul(g1, g2)统计函数(函数结果返回一个数)
- np.sum 求和 np.mean 取平均值 np.median 求中位数 np.var 求方差 np.std求标准差
- np.max 求最大值 np.argmax求最大值的索引(最小值同理)
比较函数(函数结果返回一个bool值(数组))
- np.greater / np.less / np.equal 比较两个形状相同的数组对应元素的大/小/等于 也可以与一个标量比较(遵从广播机制)
arr1 = np.array([1,2,3,4,5])arr2 = np.array([5,4,3,2,1])print(np.greater(arr1,arr2))print(np.equal(arr1,arr2))print(np.less(arr1,arr2))- np.logical_and / np.logical_or对两个形状相同的数组对应元素进行逻辑运算,也可以与一个标量比较(遵从广播机制)np.logical_not对一个数组的bool值取反
- np.any 检查一个数组元素是否至少有一个元素的bool值为true;np.all 检查一个数组的元素是否全为true
- np.where自定义条件比较函数(联系c语言的三元运算符)
np.where(condition, x, y)会对数组元素一一进行条件判断,真值替换为x值,假值替换为y值(即自定义条件、真值和假值的数值)
arr = np.array([1,2,3,4,5])print(np.where(arr<3,arr,0)) # 对arr中的元素进行逐一排查,小于3的不变,大于等于3的变为0
# 同时支持嵌套score = np.random.randint(50,100,20)print(score)print(np.where( score>=80,'优秀',np.where( score>=60,'及格','不及格' ))) # select(条件数组,结果数组,default=默认值)可以达成同样的条件练习
# numpy 练习
import numpy as np
'''题目 1:温度数据分析某城市一周的最高气温(°C)为[28,30,29,31,32,30,29]。-计算平均气温、最高气温和最低气温。-计算天气的中位数和标准差-转换为华氏度-找出气温超过 30°C 的天数。'''
# tmp = np.array([28,30,29,31,32,30,29])# print(f'平均值为{np.mean(tmp)}\n最高气温{np.max(tmp)}\n最低气温{np.min(tmp)}')# # cnt = 0# # for i in tmp:# # if i > 30:# # cnt += 1# print(f'中位数为{np.median(tmp)}\n标准差{np.std(tmp):.3f}')# print(tmp*9/5 + 32)# cnt = np.sum(np.where(tmp > 30, 1, 0))# print(f'超过30度的天数{cnt}')
'''题目 2:随机数据生成生成一个(3,4)的随机整数数组,范围[0,10)-计算每列的最大值和每行的最小值。-将数组中的所有奇数替换为-1。'''
# arr = np.random.randint(0,10,(3,4))# arr_min = np.array([np.min(i) for i in arr])# arr_max = np.array([np.max(i) for i in arr.T])## print(arr)# print(arr_min)# print(arr_max)# print(np.where(arr%2==0,arr,-1))
'''题目 3:数组变形创建一个 1 到 12 的一维数组,并转换为(3,4)的二维数组计算每行的和与每列的平均值。将数组展平为一维数组。'''# arr = np.arange(1,13,dtype=np.int8).reshape(3,4)# # print(np.array([np.sum(i) for i in arr]))# print(np.sum(arr,axis=1))# # print(np.array([np.mean(i) for i in arr.T]))# print(np.mean(arr,axis=0))# print(np.reshape(arr,(arr.size)))
'''题目 4:数组拼接给定 A=[1,2,3]和 B=[4,5,6]。-将A和B 水平拼接为一个新数组。-将 A和 B 垂直拼接为一个新数组。'''
# A = np.array([1,2,3])# B = np.array([4,5,6])# C = np.concatenate((A,B))# D = np.reshape(C,reshape(2,3))
'''去重&查频率'''arr = np.random.randint(1,5,(10))print(arr)box, cnt = np.unique(arr, return_counts=True)cnt1 = np.array([len(arr[arr == box[i]]) for i in range(len(box))])print(box)print(cnt)print(cnt1)Pandas基础操作
Pandas 是 Python 数据分析工具链中最核心的库,充当数据读取、清洗、分析统计、输出的高效工具。Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。Pandas是基于NumPy构建的专门为处理表格和混杂数据设计的Python库,核心设计理念包括:
- 标签化数据结构<提供带标签的轴>提供带标签的轴>
- 灵活处理缺失数据<内置nan处理机制>内置nan处理机制>
- 智能数据对齐<自动按标签对齐数据>自动按标签对齐数据>
- 强大IO工具<支持从csv>支持从csv>、Excel、SQL等20+数据源读写
- 时间序列处理<原生支持日期时间处理和频率转换>原生支持日期时间处理和频率转换>
核心数据结构
| 比较维度 | Series(序列) | DataFrame(数据框) | 说明 |
|---|---|---|---|
| 数据结构类型 | 一维数组 | 二维表格(类似电子表格或SQL表) | 基础数据结构之一 |
| 数据维度 | 1 维 | 2 维 | 使用 .ndim 可查看 |
| 索引结构 | 单一索引 | 行索引 + 列索引 | DataFrame 具有更复杂的结构 |
| 元素访问方式 | series[index] | df[col][row] 或 df.loc[row, col] | DataFrame 可按行列定位访问 |
| 数据类型 | 同一列数据类型(一般为同类型) | 不同列可以为不同的数据类型 | 异构结构 |
| 构造方式 | pd.Series(data) | pd.DataFrame(data) | data 可以是字典、列表、数组等 |
| 常见用途 | 表示一列数据(如某列成绩、价格等) | 表示整个表格、数据集 | DataFrame 更适合建模分析 |
| 与 NumPy 的关系 | 类似一维的 ndarray | 类似二维的 ndarray | 都是基于 NumPy 构建 |
| 标量操作 | 支持广播操作 | 同样支持广播操作 | 与 NumPy 类似 |
| 作为子结构 | 可作为 DataFrame 的一列 | 可由多个 Series 组成 | Series 是 DataFrame 的组成部分 |
Series
- 创建
# 直接创建s = pd.Series([1,2,3,4,5])# 自定义索引、names1 = pd.Series([1,2,3,4,5],index=['A','B','C','D','E'],name='num_list')# 通过字典创建seriess2 = pd.Series({"a":1,"b":2,"c":3,"d":4})# 通过别的series继承部分元素s3 = pd.Series(s2,index=["a","d"])- 属性
分享
如果这篇文章对你有帮助,欢迎分享给更多人!
部分信息可能已经过时
相关文章 智能推荐








