Python量化

阅读数:0次

1. Numpy库

NumPy是高性能科学计算和数据分析 的基础包,是Python进行科学计算时所有高级工具的基础组件。

1.1 Ndarray

NumPy的ndarray是一个多维数组对象，主要由如下两个部分组成:

  • 实际的数据。
  • 描述这些数据的元数据。

1.1.1一元数组

1
2
3
4
from numpy import *
a=arange(10)
print(a)
# [0 1 2 3 4 5 6 7 8 9]

1.1.2 多维数组

1
2
3
4
5
6
7
8
9
from numpy import *
m=array([arange(4),arange(4)])
print(m)
# [
#  [0 1 2 3]
#  [0 1 2 3]
# ]
print(m.shape)
# (2, 4)

1.1.3 选取数组元素

1
2
3
4
5
6
7
8
9
from numpy import *
a=array([arange(1,5),arange(5,9)])
print(a)
print(a[0,0])
# [
#  [1 2 3 4]
#  [5 6 7 8]
# ]
# 1 //对于数组a，只需要用a[m,n]选取各元素即可，其中m和n为元素的下标

1.1.4 索引和切片

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from numpy import *
a=arange(10)
print(a)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
# 切片
print(a[4:7])
# array([4, 5, 6])

# 以2为步长选取元素
print(a[::2])
# array([0, 2, 4, 6, 8])

# 用负数下标翻转数组
print( a[::-1])
# array([9, 8, 7, 6, 5, 4, 3, 2, 1, 0])

1.2 Scipy

Scipy是基于NumPy的，提供了更多的科学计算功能，比如线性代数、优化、积分、插值、信号处理等。

1.2.1 文件读写

目前在国内Matlab仍然非常流行，Matlab使用的数据格式通常是.mat文件。对此，Scipy.io包提供了可以导入导出.mat文件的接口，这样，Python和Matlab的协同工作就变得非常容易了。

1
2
3
4
5
6
7
8
from scipy import io as spio
import numpy as np

a=np.arange(10)
spio.savemat('a.mat',{'a':a})
data = spio.loadmat('a.mat', struct_as_record=True)
data['a']
# array([[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]])

1.2.2 线性代数运算

在Scipy中，线性代数运算使用的是scipy.linalg。

1
2
3
4
5
# scipy.linalg.det()可用于计算矩阵的行列式
from scipy import linalg
m=np.array([[1,2],[3,4]])
linalg.det(m)
# -2.0

1.2.3 优化和拟合

求解最大值最小值之类的问题即为优化问题，在Scipy中，scipy.optimization提供了最小值、曲线拟合等算法。

1
2
3
4
5
6
7
8
9
import numpy as np
from scipy import optimize
import matplotlib.pyplot as plt

def f(x):
 return x**2+20*np.sin(x)

x=np.arange(-10,10,0.1)
plt.plot(x,f(x))
image-20220516225736182

可以看到，对应的最小值的横坐标大约是-2。

我们可以用暴力穷举法来计算最小值

1
2
3
4
grid=(-10,10,0.1)
x_min=optimize.brute(f,(grid,))
print(x_min)
# array([-1.42754883])

1.3 Pandas

Pandas具有NumPy的ndarray所不具有的很多功能，比如集成时间序列、按轴对齐数据、处理缺失数据等常用功能。Pandas最初是针对 金融分析而开发的，所以很适合用于量化投资。

Pandas包含两个主要的数据结构:

  • Series
  • DataFrame

1.3.1 DataFrame入门

DataFrame是一个表格型的数据结构。每列都可以是不同的数据类 型（数值、字符串、布尔值等）

下面先来创建一个DataFrame，一种常用的方式是使用字典，这个 字典是由等长的list或者ndarray组成的

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
data={'A':['x','y','z'],'B':[1000,2000,3000],'C':[10,20,30]}
df=pd.DataFrame(data,index=['a','b','c'])
print(pd)
print(df.values)
# array([['x', 1000, 10],
# ['y', 2000, 20],
# ['z', 3000, 30]], dtype=object)

# 获取df行索引
print(df.index)
# Index(['a', 'b', 'c'], dtype='object')

# 获取df列索引（列标签）
print(df.columns)
# Index(['A', 'B', 'C'], dtype='object')

# 创建一个新列
df['D']=10

# 使用del命令可以删除列
del df['D']

# 追加行
new_df=pd.DataFrame({'A':'new','B':4000,'C':40},index=['d'])
df=df.append(new_df)

# 使用loc方法来添加行
df.loc['e']=['new2',5000,50]

# 索引的存在，使得Pandas在处理缺漏信息的时候非常灵活
df2=pd.DataFrame([1,2,3,4,5],index=['a','b','c','d','z'],columns=['E'])

# 如果现在想要合并df和df2，使得df有一个新的列E，那么可以使用join方法
df.join(df2)
image-20220516230415538
函数参数
image-20220516230541983
数据类型
image-20220516230610410

2. 可视化分析

2.1 Matplotlib

2.1.1 散点图

在数据分析中，散点图是最常用的探索两个数据之间相关关系的 可视化图形。

1
2
3
4
5
6
7
8
import numpy as np
import matplotlib.pyplot as plt
N=1000
x=np.random.randn(N)
y=np.random.randn(len(x))
# 核心
plt.scatter(x,y)
plt.show()
image-20220516232602735

2.1.2 直方图

直方图主要用于研究数据的频率分布

1
2
3
4
5
6
7
8
import numpy as np
import matplotlib.pyplot as plt
mu = 100 # mean of distribution
sigma = 20 # standard deviation of distribution
x = mu + sigma * np.random.randn(2000)
# 核心
plt.hist(x, bins=20,color='red',normed=True)
plt.show()
image-20220516232713628

2.1.3 函数图

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.patches import Polygon
def func(x):
 return -(x - 1) * (x - 6)+50
x = np.linspace(0, 10)
y = func(x)
fig, ax = plt.subplots()
plt.plot(x, y, 'r', linewidth=2)
plt.ylim(ymin=0)
a, b = 2, 9
ix = np.linspace(a, b)
iy = func(ix)
verts = [(a, 0)] + list(zip(ix, iy)) + [(b, 0)]
poly = Polygon(verts, facecolor='0.9', edgecolor='0.5')
ax.add_patch(poly)
plt.text(0.5 * (a + b), 20, r"$\int_a^b (-(x - 1) * (x -
6)+50)\mathrm{d}x$",
 horizontalalignment='center', fontsize=20)
plt.figtext(0.9, 0.05, '$x$')
plt.figtext(0.1, 0.9, '$y$')
ax.set_xticks((a, b))
ax.set_xticklabels(('$a$', '$b$'))
ax.set_yticks([])
plt.show()
image-20220516232805104

2.1.4 Matplotlib和seaborn的中文乱码问题

可以用seaborn加代码的方式。

1
2
3
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题

2.2 Seaborn

在做统计相关的图形的 操作时，会比Matplotlib更容易上手一些，也更实用一些。在进行可视 化分析时，一般来说，笔者都会优先考虑使用seaborn。

1
2
3
4
5
6
7
8
9
10
import seaborn as sns
import matplotlib.pyplot as plt
sns.set()
# 加载数据
iris = sns.load_dataset("iris")
# 绘图
g = sns.lmplot(x="sepal_length", y="sepal_width", hue="species",
 truncate=True, size=6, data=iris)
# 更改x,y轴的标签
g.set_axis_labels("Sepal length (mm)", "Sepal width (mm)")
image-20220516233053564

通过如下的命令来观察一下数据:

1
iris.head()
image-20220516233131929

3. 统计基础

3.1 基本统计概念

3.1.1 随机数和分布

3.1.1.1 rand和random_sample

rand和random_sample都是均匀分布（uniform distribution）的随机数生成函数。(一般来讲，推荐使用random_sample )

1
2
3
4
5
import numpy as np
import matplotlib.pyplot as plt
data_uniform = np.random.random_sample((10000))
plt.hist(data_uniform,bins=30)
plt.show()
image-20220516233650970
3.1.1.2 randn和standard_normal

randn和standard_normal是正态分布的随机数生成函数。推荐使用standard_normal

1
2
3
4
5
6
7
8
9
import numpy as np
import matplotlib.pyplot as plt
data_normal=np.random.standard_normal((10000))
plt.hist(data_normal,bins=30)
plt.show()
# 这里生成了一个大小为10的一维随机ndarray数组。

# 如果想从正态分布中取样,，randn的意思是从正态分布（Normal Distribution）中取样
data= np.random.randn(10)
image-20220516233854536
3.1.1.3 randint和random_integers

randint和random_integers是均匀分布的整数生成函数。

函数需要传入三个参数:

  • low (区间的最小值)
  • high (区间的最大值)
  • size (生成的数组大小) — size是一个n维元组数据

randint和random_integers的区别在于，randint的范围不包括最大值，而 random_integers包括最大值。

1
2
3
4
5
6
7
x1=np.random.randint(1,10,(100))
print(x1.max())  
# 9

x2=np.random.random_integers(1,10,(100))
print(x2.max())
# 10
3.1.1.4 shuffle

shuffle可以随机打乱一个数组，并且改变此数组本身的排列。

1
2
3
4
5
6
x=np.arange(10)
print(x)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
np.random.shuffle(x)
print(x)
# array([5, 9, 3, 4, 6, 1, 2, 8, 0, 7])
3.1.1.5 Permutation

Permutation用于返回一个打乱后的数组值，但是并不会改变传入 的参数数组本身

1
2
3
4
5
6
x=np.arange(10)
y=np.random.permutation(x)
print(x)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
print(y)
# array([9, 6, 4, 8, 2, 1, 0, 7, 3, 5])
3.1.1.6 二项式分布

N次伯努利试验的结果分布即为二项分布。使用binomial(1,p)即为 一次二项分布。使用binomial(1,p,n)即表示生成n维的二项分布数组，也 就是伯努利分布。

1
2
3
4
import numpy as np
binomial = np.random.binomial(100,0.5,10000)
import seaborn as sns
sns.distplot(binomial)
image-20220517091340300

3.1.2 随机数种子

调用seed()，会根据系统提供的数据进行随机初 始化，也就是每次得到的随机数都会不一样。调用seed(x)的时候，计算机会根据x值进行初始化，如果x值是同一个x值，那么随机得到的结果也是一样的。

1
2
3
np.random.seed()
np.random.randn()
# 0.30163810811524266

3.1.3 相关系数

数学相关，暂放

3.1.4 基本统计量

下面就来介绍一些常用的统计量，所谓统计量，就是利用数据的 函数变化，从某种维度来反映全体数据集的特征的一种函数。

3.1.4.1 mean

mean函数可用于计算数组的平均值。函数的第二个参数可以用来 选择不同的维度进行计算。

1
2
3
4
5
6
7
8
9
10
x=arange(20)
x.mean()
# 9.5
mean(x)
# 9.5
x=reshape(arange(20),(5,4))
mean(x,0)
# array([ 8., 9., 10., 11.])
x.mean(1)
# array([ 1.5, 5.5, 9.5, 13.5, 17.5])
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家