mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
1548 字
4 分钟
机器学习工具库入门

NumPy基础操作#

numpy是Python中科学计算的基础包。它是一个Python库,提供多维数组对象、各种派生对象(例如掩码数组和矩阵)以及用于对数组进行快速操作的各种方法,包括数学、逻辑、形状操作、排序、选择、1/0、离散傅里叶变换、基本线性代数、基本统计运算、随机模拟等等。numpy的部分功能如下:#
  • ndarray,一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组
  • 用于对整组数据进行快速运算的标准数学函数(无需编写循环)
  • 用于读写磁盘数据的工具以及用于操作内存映射文件的工具
  • 线性代数、随机数生成以及傅里叶变换功能
  • 作为科学计算生态桥梁,提供统一的数组数据模型以及 C 等底层接口,使 Python 能方便地调用 C/C++/Fortran 编写的高性能数值计算代码,同时减少不同库之间的数据转换成本。

NumPy 常用函数分类表#

基本数学统计计算比较运算其他操作去重操作排序操作
np.sqrt(x)np.sum(x)np.greater(a, b)np.concatenate((a, b))np.unique(x)np.sort(x)
np.exp(x)np.mean(x)np.less(a, b)np.split(x, indices)np.in1d(a, b)x.sort()
np.log(x)np.median(x)np.equal(a, b)np.reshape(x, shape)np.argsort(x)
np.sin(x)np.std(x)np.logical_and(a, b)np.copy(x)np.lexsort(keys)
np.abs(x)np.var(x)np.where(condition, x, y)np.isnan(x)
np.power(a, b)np.min(x) / np.max(x)
np.round(x, n)np.percentile(x, q)

ndarray的特性#

多维性#

名称维度示例备注
标量0维5,3.14单个数字,无行列
向量1维[1, 2, 3]只有行或列(一维数组)
矩阵2维[[1, 2], [3, 4]]严格的行列结构(二维表)
张量≥3维[[[1, 2], [3, 4]]]高阶数组(如 RGB 图像)

同质性#

一个多维数组中的所有元素数据类型一致,如果定义时出现了一个字符串,那么会将其他元素强制转换为字符串;如果在整数中出现浮点数,那么则会转换为浮点数(str > float > int)

高效性#

属性:#

  • 尺寸 .shape
  • 维度 .ndim
  • 总元素个数 .size
  • 元素类型 .dtype
  • 矩阵转置 .T
  • 单个元素占用的内存字节数 .itemsize
  • 总内存占用量 .nbytes
  • 内存存储方式(是否连续存储) .flags

数组的创建#

用途方法
基础构造np.array() , np.copy()
预定义形状填充np.zeros() , np.ones() , np.empty() , np.full()
基于数值范围生成np.arange() , np.linspace() , np.logspace()
特殊矩阵生成np.eye() , np.diag()
随机数组生成np.random.rand() , np.random.randn() , np.random.randint()
高级构造方法np.array() , np.loadtxt() , np.fromfunction()
  1. 基础构造: 适用于手动构建小规模数组或复制已有数据
  2. 预定义形状填充<用于快速初始化固定形状的数组>(如全0占位、全1初始化)
  3. 基于数值范围生成: 生成数值序列,常用于模拟时间序列、坐标网格等
  4. 特殊矩阵生成<数学运算专用>
  5. 随机数组生成<模拟实验数据>、初始化神经网络权重等场景
  6. 高级构造方法<处理非结构化数据>(如文件、字符串)或通过函数生成复杂数组

基础构造,列表转换#

np.array([1, 2, 3, 4], dtype=np.int64) #第二个形参默认为float64
np.copy(array) #复制数组
#
# 预定义形状 0矩阵 全1矩阵等
np.zeros((3, 2)) # 尺寸,可以省略第二个参数生成一个一维数组
np.ones((4, 3))
# 生成范围数列
# 按跨度划分
np.arange(start, stop, step, dtype=None)
np.arange(0, 10) #从0到10的等差数列的一维数组 包头不含尾
# 按元素个数划分
np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) #按元素个数生成等差数列一维数组
np.linspace(0,10,6,dtype=np.int64)
np.logspace(start, stop, num=50, endpoint=True, base=10.0, dtype=None, axis=0) #按元素个数生成等比数列一维数组
np.logspace(1,10,10,base=2.0,dtype=np.int64)
# 特殊矩阵
# 单位矩阵
np.eye(4,4,dtype=np.int64) #单位矩阵,默认float
# 对角矩阵
np.diag([1,2,3,4])

数组的切片#

arr = np.random.randint(1,100,(4,8)) #随机生成一个数组
print(arr[2][4]) # 检索单个元素
print(arr[2,4])
print(arr[1,3:6])
print(arr[1][3:6]) # 对某一行某一列切片
print(arr[1:3,3:5]) # 从一个矩阵中切一个矩阵有且仅有一种写法
print(arr[:,3]) # 筛选某一列
print(arr[2][arr[2] > 50]) # 筛选某一行中大于50的元素
print(arr[(arr > 10) & (arr < 50)]) # 多布尔值筛选必须要括号
# 模型默认支持TrnsorFloat32
class torch.nn.Linear(in_features,outfeatures,bias=True,dtype=None)

矩阵运算#

# 广播机制原理
# 1
arr1 = np.ones((4,5))
print(arr1)
print(arr1 + 3)
print(arr1 * 2)
print(arr1 - 1)
print(arr1 / 2)
print((arr1 + 1) ** 3) # 矩阵的标量的计算,标量会扩充成与该矩阵相同大小,元素全为该标量的矩阵,然后对应元素进行有关运算
# 2
a = np.array([[1,2,3],[4,5,6]])
b = np.array([1,1,1])
print(a+b) # 矩阵(mxn)与向量(n)进行计算时,向量首先会扩充成1xn的矩阵再以第一行的数据扩充成mxn的数据
# 3
a = np.array([3,2,1,4])
b = np.array([[1],[2],[3]])
print(a+b) # 行向量与列向量进行运算会相互扩充
# 只有当两个数组的维度从后向前逐一比较时,对应维度要么相等,要么其中一个为 1(或缺失,视为 1),否则就会报错。
# 内积
a = np.array([1, 2, 3, 4], dtype=np.int32)
d = np.arange(6, 10)
np.dot(a, d)
# 矩阵乘法
g1 = np.array([[1, 2],[3, 4]])
g2 = np.array([[2, 0],[0, 2]])
g1 @ g2 # or np.matmul(g1, g2)

统计函数(函数结果返回一个数)#

  1. np.sum 求和 np.mean 取平均值 np.median 求中位数 np.var 求方差 np.std求标准差
  2. np.max 求最大值 np.argmax求最大值的索引(最小值同理)

比较函数(函数结果返回一个bool值(数组))#

  1. np.greater / np.less / np.equal 比较两个形状相同的数组对应元素的大/小/等于 也可以与一个标量比较(遵从广播机制)
arr1 = np.array([1,2,3,4,5])
arr2 = np.array([5,4,3,2,1])
print(np.greater(arr1,arr2))
print(np.equal(arr1,arr2))
print(np.less(arr1,arr2))
  1. np.logical_and / np.logical_or对两个形状相同的数组对应元素进行逻辑运算,也可以与一个标量比较(遵从广播机制)np.logical_not对一个数组的bool值取反
  2. np.any 检查一个数组元素是否至少有一个元素的bool值为true;np.all 检查一个数组的元素是否全为true
  3. np.where自定义条件比较函数(联系c语言的三元运算符)
np.where(condition, x, y)

会对数组元素一一进行条件判断,真值替换为x值,假值替换为y值(即自定义条件、真值和假值的数值)

arr = np.array([1,2,3,4,5])
print(np.where(arr<3,arr,0)) # 对arr中的元素进行逐一排查,小于3的不变,大于等于3的变为0
# 同时支持嵌套
score = np.random.randint(50,100,20)
print(score)
print(np.where(
score>=80,'优秀',np.where(
score>=60,'及格','不及格'
)
)) # select(条件数组,结果数组,default=默认值)可以达成同样的条件

练习#

# numpy 练习
import numpy as np
'''
题目 1:温度数据分析
某城市一周的最高气温(°C)为[28,30,29,31,32,30,29]。
-计算平均气温、最高气温和最低气温。
-计算天气的中位数和标准差
-转换为华氏度
-找出气温超过 30°C 的天数。
'''
# tmp = np.array([28,30,29,31,32,30,29])
# print(f'平均值为{np.mean(tmp)}\n最高气温{np.max(tmp)}\n最低气温{np.min(tmp)}')
# # cnt = 0
# # for i in tmp:
# # if i > 30:
# # cnt += 1
# print(f'中位数为{np.median(tmp)}\n标准差{np.std(tmp):.3f}')
# print(tmp*9/5 + 32)
# cnt = np.sum(np.where(tmp > 30, 1, 0))
# print(f'超过30度的天数{cnt}')
'''
题目 2:随机数据生成生成一个(3,4)的随机整数数组,范围[0,10)
-计算每列的最大值和每行的最小值。
-将数组中的所有奇数替换为-1。
'''
# arr = np.random.randint(0,10,(3,4))
# arr_min = np.array([np.min(i) for i in arr])
# arr_max = np.array([np.max(i) for i in arr.T])
#
# print(arr)
# print(arr_min)
# print(arr_max)
# print(np.where(arr%2==0,arr,-1))
'''
题目 3:数组变形
创建一个 1 到 12 的一维数组,并转换为(3,4)的二维数组计算每行的和与每列的平均值。
将数组展平为一维数组。
'''
# arr = np.arange(1,13,dtype=np.int8).reshape(3,4)
# # print(np.array([np.sum(i) for i in arr]))
# print(np.sum(arr,axis=1))
# # print(np.array([np.mean(i) for i in arr.T]))
# print(np.mean(arr,axis=0))
# print(np.reshape(arr,(arr.size)))
'''
题目 4:数组拼接给定 A=[1,2,3]和 B=[4,5,6]。
-将A和B 水平拼接为一个新数组。
-将 A和 B 垂直拼接为一个新数组。
'''
# A = np.array([1,2,3])
# B = np.array([4,5,6])
# C = np.concatenate((A,B))
# D = np.reshape(C,reshape(2,3))
'''
去重&查频率
'''
arr = np.random.randint(1,5,(10))
print(arr)
box, cnt = np.unique(arr, return_counts=True)
cnt1 = np.array([len(arr[arr == box[i]]) for i in range(len(box))])
print(box)
print(cnt)
print(cnt1)

Pandas基础操作#

Pandas 是 Python 数据分析工具链中最核心的库,充当数据读取、清洗、分析统计、输出的高效工具。Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。Pandas是基于NumPy构建的专门为处理表格和混杂数据设计的Python库,核心设计理念包括:#
  • 标签化数据结构<提供带标签的轴>
  • 灵活处理缺失数据<内置nan处理机制>
  • 智能数据对齐<自动按标签对齐数据>
  • 强大IO工具<支持从csv>、Excel、SQL等20+数据源读写
  • 时间序列处理<原生支持日期时间处理和频率转换>

核心数据结构#

比较维度Series(序列)DataFrame(数据框)说明
数据结构类型一维数组二维表格(类似电子表格或SQL表)基础数据结构之一
数据维度1 维2 维使用 .ndim 可查看
索引结构单一索引行索引 + 列索引DataFrame 具有更复杂的结构
元素访问方式series[index]df[col][row] 或 df.loc[row, col]DataFrame 可按行列定位访问
数据类型同一列数据类型(一般为同类型)不同列可以为不同的数据类型异构结构
构造方式pd.Series(data)pd.DataFrame(data)data 可以是字典、列表、数组等
常见用途表示一列数据(如某列成绩、价格等)表示整个表格、数据集DataFrame 更适合建模分析
与 NumPy 的关系类似一维的 ndarray类似二维的 ndarray都是基于 NumPy 构建
标量操作支持广播操作同样支持广播操作与 NumPy 类似
作为子结构可作为 DataFrame 的一列可由多个 Series 组成Series 是 DataFrame 的组成部分

Series#

  • 创建
# 直接创建
s = pd.Series([1,2,3,4,5])
# 自定义索引、name
s1 = pd.Series([1,2,3,4,5],index=['A','B','C','D','E'],name='num_list')
# 通过字典创建series
s2 = pd.Series({"a":1,"b":2,"c":3,"d":4})
# 通过别的series继承部分元素
s3 = pd.Series(s2,index=["a","d"])
  • 属性
分享

如果这篇文章对你有帮助,欢迎分享给更多人!

机器学习工具库入门
https://blog.hydrodyio.xyz/posts/机器学习工具库入门/
作者
Hydroiody
发布于
2026-09-24
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

目录