chzzz's Blog

The greatest enemy of knowledge is not ignorance, it is the illusion of knowledge.--Stephen William Hawking

SMOTE算法的简单表述

SMOTE算法是过采样算法,出自JAIR'2002的文章《SMOTE:SyntheticMinorityOver-samplingTechnique》,目的是为少数类合成新样本,以解决数据不平衡的问题。为表述简单,我们举例说明。假设有一个数据集,有两个类A和B,A是少数类,B是多数类。为了让数据平衡,我们采用SMOTE算法对少数类A进行过采样,SMOTE算法过程是这样的:假设A类样本数为N,对于每个样本xi,执行下列操作:(1)在N个样本中取xi的k个近邻点,...
继续阅读

sklearn.preprocessing中的Imputer用法解析

Imputer使用数据的统计信息(均值、中位数等)来填充缺失值。为了避免交叉验证时的数据泄漏,它使用fit计算训练数据的统计值,储存统计值,然后使用transform将统计值应用于测试数据。fromsklearn.preprocessingimportImputerobj=Imputer(strategy='mean'obj.fit_transform([[1,2,&n...
继续阅读

Keras中的padding实现代码

defconv_output_length(input_length,filter_size,padding,str...
继续阅读

结构化数据和非结构化数据的区别

结构化数据是可以用二维表表示的数据,就是可以读取为pandas的DataFrame格式的数据。非结构化数据包括所有格式的办公文档、XML、HTML、各类报表、图片和咅频、视频信息等。现在流行的深度学习图像处理、音频处理、NLP领域的数据都是非结构化数据。...
继续阅读

史上对tensorflow卷积神经网络中的padding参数最详细解释!

史上对tensorflow卷积神经网络中的padding参数最详细解释!
当使用tensorflow创建卷积神经网络时,肯定要用到卷积层和池化层,tendorflow关于建立卷积层和池化层的API都有padding这个参数,如下所示:-tf.nn.conv2d(input,filter,strides,padding-tf.nn.max_pool(input,ksize,strides,paddingpadding有两种可选值:‘VALID’和‘SAME’。取值为‘VALID’时padding=0,并不会对输入(input做填充;取值为‘...
继续阅读

tensorflow class3 logist gate and primitive nn model

usingtensorflowtolearnaand-gateclassTF_Logistic_gate(:def__init__(self:graph=tf.Graph(withgraph.as_default(:&nb...
继续阅读

tensorflow class2 linearmodel

tensorflowclass2:uciwinequalitypredictionimportos.pathasospimportosimportrequestsdefurlretrieve(url,path:r=requests.get(url ...
继续阅读

Tensorflow class1

1.初级构造:计算图(computationgraph)箭头代表数据流,节点代表计算(加、减、乘、除等)数据流可以被重复使用。2.fundamentaltensorflowworkflow:importtensorflowastf#tf.placeholder,wemustgiveitvaluewhenwerunour&n...
继续阅读

模型调参工具

optimizetools:scikit-optimize(Sequentialmodel-basedoptimizationwitha`scipy.optimize`interface),hyperopt(DistributedAsynchronousHyperparameterOptimizationinPython),optunasklearn-deap(Useevolutionaryalgorithmsinsteadofgridse...
继续阅读

Data Leakage 详解

Data Leakage 详解
原文链接:kaggle什么是DataLeakage?数据泄漏是一个数据科学家必须理解的重要概念。如果你不知道如何防止数据泄漏发生,那么它将会频繁发生,而且它将会以最隐秘,最危险的方式摧毁你的模型。具体而言,数据泄漏会导值你的模型看起来很精确,但当你使用它是就会变得非常不精确。这篇教程会告诉你什么是数据泄漏以及如何避免数据泄露。主要有两种类型的数据泄漏:LeakyPredictors和LeakyValidationStrategies.LeakyPredictors当...
继续阅读
© 版权所有:沈阳市和平区赛博空间咨询部|辽ICP备18005891号
Powered by Z-BlogPHP & Yiwuku.com