python线性拟合标准差_Python数据分析Use Case笔记

news/2024/7/5 17:45:33 标签: python线性拟合标准差

71b4d1fce101875ec64145f38ed0cecb.gif

正在开发及维护一个自己的python库,主要会写一些自己平时常用的小模块,方便直接调用。会把小模块的demo记录在这里,方便查询及分享。(注:所有demo均基于Random函数随机生成的数据,所以不代表任何实际含义。)

知乎视频​www.zhihu.com
zhihu-card-default.svg

Acknowledge: {pypi}

python setup.py sdist bdist_wheel
twine upload dist/* 

等有空再给package写个文档:

Overview - Sphinx 4.0.0+ documentation​www.sphinx-doc.org Styling Your Docs - MkDocs​www.mkdocs.org
4d31caa905702229b0864fe6af595021.png

docs() 
  • (显示Package内所有模块)
cmd() 
  • (显示一些基础常用命令)
colorlist() 
  • (显示颜色列表,画图时需要经常参照)

b008313b28789d5ef7db65fac9076052.png
colormap() 
  • (显示颜色图谱,画图时需要经常参照)

577fd1f7c73f03374ccf00891a4e915f.png
bsfcmap(df, speed_name, torque_name, bsfc_name, title, level) 
  • (汽油车比油耗BSFC图,用来分析车辆的最佳油耗区.)

e4666c5c1a700239ad0f71b11f59a295.png
 dutycycle(df, speed_name, torque_name, stepx, stepy, bubblesize, title) 
  • (汽车行驶工况图,主要用于分析司机驾驶行为)

537748738d4e4fd55c6d01f291d9f966.png
dutycycle3d(df,speed_name, torque_name, barnum, title) 
  • (汽车行驶三维工况图)

db3d4c2345490c6a26161900679e976e.png
map() 
  • (调用原始高精度地图)

8cfabec8724b31d1184de2f8ffbbcfb2.png
map01(df, province, parameter_x, method) | (max,min,mean,median,sum,std_err) 
  • (在高精度地图上体现某些参数的特定指标,按地理位置分布的最大、最小、均值、求和、标准差等)

5ffbaedcd39d26ae6cc49a19f1893266.png
boxplot01(df, parameter_name, title) 
  • (基础箱线图,添加了5个边界线对应数值,及均值标准差)

8d258b301f87a2702ce7a78f92ef2f3e.png
boxplot02(df, title) 
  • (多维箱线图,在每个维度上增加了均值和标准差)

9f7000c549b04bac7fa1da24252a2633.png
boxplot03(df, category_x_name, value_y_name, title) 
  • (不同类别同一维度的对比箱线图)

9bef6cac61a0e806311221cc1a006e80.png
dfprofile(df) 
  • (生成一份描述性统计数据质量报告)

41cf0388ce565b85f144346f5f16ad3e.png

763aee79b0bc90c4a751ea929c02593e.png

a9b0340472b3e81920ed8d43579714c2.png
hist01(df, parameter_name, bins, title) 
  • (基础直方图)

d9805645c1efdaefb6746a2a8f3faba0.png
hist02(df1, parameter_name1, df2, parameter_name2, bins, title) 
  • (两个维度对比直方图)

05837ff82bfff43a8fdadbd29f93407d.png
hist03(df1, parameter_name1, bins, title) 
  • (直方图+正态分布概率密度曲线,并体现曲线对应的均值及标准差)

ced6b22d5383f19016096749dab3b8c5.png
hist04(df1, parameter_name1, df2, parameter_name2, bins, title) 
  • (多维度直方图+正态分布概率密度曲线,体现均值及标准差)

de9f54b4c24d5efd7430d9a0455ca187.png
line01(df, x_parameter, y_parameter, title) 
  • (基础折线图)

599612383fa0e380e6cc59195545c569.png
line02(df, x_parameter, title) 
  • (多维折线图,默认显示数据集内所有的数值型维度)

fb8c0b4faca0ef07ab0bc6b8f6e84381.png
line03(df, x_parameter, y_parameter, category_parameter, title) 
  • (一维多类对比折线图)

66f5d428ee0522a28eb074cfcebfa382.png
bar01(df, parameter_x, title) 
  • (基础柱状图)

d335d95470963f33cdc3dc6676e6e42c.png
bar01h(df, parameter_x, title) 
  • (基础横向柱状图)

53a7a525755657a8c07fa41b48530b68.png
bar02(df, parameter_x, parameter_category, title) 
  • (不同类别层级柱状图分布)

ea50cdbc30f6689030a643d533deb87b.png
bar03(df, parameter_x, parameter_y, method, title) | (method(sum/mean/median,max,min,std)) 
  • (一维统计柱状图,按类别要求统计单一维度的特定指标(求和,均值,中位数,最大值,最小值,标准差))

612969d2e07a8d532dac8b30ddb03ec8.png
bar04(df, parameter_x, parameter_y, method, title) | method(std_err,ci) 
  • (用于表示参数均值分布及误差带(标准差或95%置信区间))

f4184077b701990d71309784d79bd1a4.png
pie(df, parameter, title) 
  • (基础饼图及占比)

89c3b07158d9613cb361deefb6a67254.png
scatter01(df, parameter_x, parameter_y, title) 
  • (基础散点图)

df75faeb2975d22767ef13991741917c.png
scatter02(df, parameter_x, parameter_y, parameter_z, bubblesize, title) 
  • (气泡图,三个维度显示变量,第三个维度作为气泡大小的指标)

5d187a47bd1ff6ec17dda50022d3eab2.png
scatter03(df, parameter_x, parameter_y, category, title) 
  • (多类对比散点图)

2e782346fb73656dae0e3c56e25a5f81.png
scatter04hist(df, parameter_x, parameter_y, bins, title) 
  • (散点图+直方图)

cebfc40648151d92e078d7b0aa12b1eb.png
scatter05box(df, parameterx, parameter_y, title) 
  • (散点图+箱线图)

ffe4244e5bba870dbb596f6070ec8206.png
scatter06histlr(df, parameter_x, parameter_y, bins, title) 
  • (散点图+直方图+线性回归拟合)

b90809fd4821ab4c301c1f05b67d5132.png
scatter07boxlr(df, parameter_x, parameter_y, title) 
  • (散点图+箱线图+线性回归拟合)

e84a0befa32e5ce4e0d0ee6f8a5b94e6.png
scatter08lrci(df, parameterx, parameter_y, title) 
  • (用于表示散点图的线性回归拟合及其误差带范围(用95%置信区间表示))

262d8eaff2a75d25d913511168dd3d8a.png

5f8bdf1226f318d33e4511d1ec2ae20a.png
scatter09lr6sigma(df, parameter_x, parameter_y, sigma, title) 
  • (用于表示散点图的线性回归拟合及其误差带范围 (用±sigma区间表示,±1sigma, ±2sigma, ±3sigma示例))

4a46b5cfc5bf566fbc5a6bbedb3682dc.png

49483163052000d547fb26410c16105b.png

e568aef6588f50c3564c884346a9fcca.png
normaltest(targetlist)
  • (用于检验某个参数的正态性分布,基于Q-Q图的原理。设定p值小于0.05,拒绝原假设,不符合正态性;p值大于0.05,符合正态性。如下图一不符合正态性,图二符合正态性(通过stats.norm.rvs(loc=0, scale=100, size=100)生成的数据))
  • (Q-Q图(Quantile),又称分位图,是在统计学中,通过比较两个概率分布的分位数对这两个概率分布进行比较的概率图方法。横纵坐标:分布拟合曲线的百分位累计值 (y轴-样本的分布范围,x轴-标准正态分布下的z-score))

c6f0ce6b88e808ed5f9e2162e7d70775.png
(图一:不符合正态分布的情况)

51545ed86990e43a020faf54e655099e.png
(图二:符合正态分布的情况)
parallel(df, category, title)
  • (平行坐标图:有助于可视化特征是否可以做为类别区分的有效特征。如果实现隔离,则表明该特征在对该类别预测时非常有用。如demo中的'diff'特征,可以有效区分car的类别。df中保留除category这个类别变量外,其他均保留数值型特征。)

d995bc6bca245280b93febcec44b2e18.png
heatmap(df, title)
  • (热力矩阵图/相关性图,可以直接看出数据集中所有数值型变量对两两之间的相关性度量。df输入不需要单独做特殊处理,会自动过滤掉类别特征。)

76f505a64864925b5c81eaece486260c.png
matrix01(df, other_matrix_type, upperleft_diag_matrix_type)
  • (多维矩阵图/匹配图,分别定义左上角对角线图形类别和其他块对应的图表类别。scatter / hist / kde,KDE(Kernel Density Estimation)-核密度估计,是一种用来估计概率密度函数的非参数方法。matrix01包含三个方法:①scatter+hist; ②scatter+kde; ③kde+kde.)

ef3a61b4cf8e62f74d8a9ba2473977e9.png
(图1-scatter+hist)

a29fff3f7e46168ab8b726ab6aa0652d.png
(图2-scatter+kde)

b63043c96a48fca8e4d832b8caea7a41.png
(图3-kde+kde,level=5)
matrix02(df, category, other_matrix_type, upperleft_diag_matrix_type):
  • (在matrix01基础上,加上了类别分类,同样也包含三个方法:①scatter+hist; ②scatter+kde; ③kde+kde.)

2e658fd02488841e55f14db2365d56bb.png
(图1-scatter+hist)

458c7f529569fa9a4cb7d3488b04b5ca.png
(图2-scatter+kde)

164640e2750e5bc010769eadbcc63916.png
(图3-kde+kde,level=5)
line04(df, parameterx, parametery, std_method, gap, title)
  • (绘制带误差带的线型图。误差带两种表示方法:①按照x轴每个点对应的所有y值进行单独聚合得到标准差,如果某个x对应1个y值,则无误差带( std_method ='m1' ) ②将所有的y值来计算得到一个标准差(std_method='m2')。gap表示x轴所有点中,隔多少个来点取值体现在图上x轴上.)

4d0a5afbbfe4163982d4735df3543336.png
(误差带用每个x点对应的所有y值计算)

04ef46bd88c007cb84b49fd6a53843b7.png
(误差带用所有y值计算)
network01(df, entity1, entity2, relation, nodesize, fontsize, layout)
  • (网络关系图:可视化显示实体1和实体2之间的相互关系。使用细节:df按顺序依次保留entity1, entity2, relation这三列,nodesize - 实体大小,fontsize - 关系字体大小, 网络图布局layout - circular / spiral / else(concentric circles))
  • (官方文档:NetworkX — NetworkX documentation)

b7f495a513cd107aff4d186953dc66a5.png
(layout - circular,圆形布局)

f39398de2b857e12982debdd73fc4c49.png
(layout - sprial, 螺旋状布局)
network02(df,entity1,entity2,relation)
  • (动态网络关系图:每个节点可以拖拽,节点连线会显示关系属性,节点拖拽过程中有力场效应。df中依然依次保留两个实体和其相互作用关系,将网络关系图demo数据(上图)绘制的结果展示效果如下图)
  • (官方文档:Interactive network visualizations — pyvis 0.1.3.1 documentation)

ab52522b0822c8572870bae6ceaae3b4.gif

[专栏目录] 数据分析&数据产品 {@_@} - 知乎 (zhihu.com)


http://www.niftyadmin.cn/n/934677.html

相关文章

HTML本地测试成功后上传博客注意事项

需要注意不要跟博客已经存在的样式(CSS)或功能(JavaScript)起冲突 功能名一定不要一样 样式名尽量不一样 如果样式名一样,存在属性名的对应属性值尽量跟博客内相同转载于:https://www.cnblogs.com/tufujie/p/5072431.h…

ECShop出现Strict Standards: Only variables should be

2019独角兽企业重金招聘Python工程师标准>>> 今天安装ecshop的时候最上面出现了一个错误提示:Strict Standards: Only variables should be passed by reference in F:\www.xxxx.com\cls_template.php on line 418 解决办法: 打开cls_templat…

Linux 下的 Nginx 反向代理配置.

最近实践中遇到了需要利用 nginx 进行反向代理服务器请求的需求,以前没怎么碰触过,因此花了1个多小时,快速阅览了一下nginx官网在反向代理服务中给出的基本定义:说实话,官网给予的定义是精准的,但对于不是很…

Linux系统MySQL大小写

为什么80%的码农都做不了架构师?>>> Linux系统MySQL大小写,设置MySQL不区分大小写,方法如下: 修改MySQL配置文件/etc/my.cnf,在[mysqld]最后加入lower_case_table_names1 1:不区分 2&#xf…

淡定啊淡定

一些前端效果在dom的事件处理上比较啰嗦,而公司的framework乃至browser也总是出一些奇特的现象。。 于是bug出现了,改着改着就不淡定了。。 事实证明必须淡定,不淡定你永远没能力! 首先把自己写的代码逐一检查,必要时j…

专题图 图例_菜鸟记449有图表不用文字系列旋转角度+拼接,圆环图可以更漂亮!...

欢迎转发扩散点在看万一您身边的朋友用得着呢?各位朋友早上好,小菜继续和您分享经验之谈,截止今日小菜已分享400篇经验之谈,可以文章编号或关键词进行搜索以下才是今天的正式内容……摘要:本文介绍通过选择角度&#x…

mysqldump备份所有数据库,恢复单个库的场景预演

场景:创建两个数据库,每个数据库创建几张表。导出全数据库的备份,导入一个数据库的方式:---------------------------------------数据的demo--------------------------------------------------create database zsddb;use zsddb…

Mac OS X 安装教程

1)10.8.3 http://bbs.pcbeta.com/viewthread-1317754-1-1.html 2)10.9 http://blog.csdn.net/kissing_huo/article/details/23559239 3)10.9.3 http://bbs.feng.com/forum.php?modviewthread&tid8656973 转载于:https://www.cnblogs.com…