chzzz's Blog

The greatest enemy of knowledge is not ignorance, it is the illusion of knowledge.--Stephen William Hawking

数据科学中简单实用的数据清洗代码(python)

在我们拿到数据进行数据分析之前,我们都应该对数据进行数据清洗,以确保使用质量最好的数据进行建模。


不管你承认与否,数据清理都不是一项简单的任务,而且大部分情况都很耗时和乏味,但这个过程太重要了,不容忽视。下面直入正题,介绍简单有用的数据清洗代码。

1. 删除多余的列

def drop_multiple_col(col_names_list, df): 
    ```    
    目标   -> 根据列名删除多余的列     
    INPUT  -> 列名的list, df    
    OUTPUT -> 丢掉列的df     
    ------    
    ```    
    df.drop(col_names_list, axis=1, inplace=True)    
    return df


2. 改变数据类型

当数据集过大的时候,我们需要转换数据类型来节省内存。

def change_dtypes(col_int, col_float, df):
        ```    
    AIM    -> 改变数据类型来节省内存    
    INPUT  -> 需要转换为(int, float)的列的列名, df    
    OUTPUT -> 占用更小内存的df      
    ------    
    ```    
        df[col_int] = df[col_int].astype('int32')    
        df[col_float] = df[col_float].astype('float32')

3. 将类别变量(categorical variable)转换为数值变量(numerical variable)

def convert_cat2num(df): 
    # 将类别变量转换为数值变量    
    num_encode = {'col_1' : {'YES':1, 'NO':0},    
    'col_2'  : {'WON':1, 'LOSE':0, 'DRAW':0}}    
    df.replace(num_encode, inplace=True)

将数据喂给模型时,应该把数据中存在的类别变量转换为数值变量。但在数据可视化时,最好应保留类别变量的格式以便于分析。


4. 检测缺失数据

def check_missing_data(df):
        # 返回df中每列的缺失数据个数 (降序显示)
        return df.isnull().sum().sort_values(ascending=False)


5. 删除列中字符串里的字符或部分字符串

def remove_col_str(df):
     # 删掉df的col_1列的所有回车   
     df['col_1'].replace('\n', '', regex=True, inplace=True)    
     # 删掉col_1列的所有‘&#’后(包括‘&#’)的字符   
     df['col_1'].replace(' &#.*', '', regex=True, inplace=True)


6. 删除列中字符串里的空格

def remove_col_white_space(df):
        #删除列中字符串里的空格
        df[col]=df[col].str.lstrip()


7. 按某种条件合并两列内容是字符串的列

def concat_col_str_condition(df):
    # 第一列的字符串结尾是 'pil'的行和第二列对应的行合并    
    mask = df['col_1'].str.endswith('pil', na=False)    
    col_new = df[mask]['col_1'] + df[mask]['col_2']    
    col_new.replace('pil', ' ', regex=True, inplace=True)  # replace the 'pil' with emtpy space




8. 转换时间戳(string->datetime)

def convert_str_datetime(df):
    ```
    目标   -> 将datetime(String)转换为datetime(我们想要的形式)    
    INPUT  -> df    
    OUTPUT -> 具有新的datetime形式的df         
    ```    
    df.insert(loc=2, column='timestamp', value=pd.to_datetime(df.transdate, format='%Y-%m-%d %H:%M:%S.%f'))









发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

© 版权所有:沈阳市和平区赛博空间咨询部|辽ICP备18005891号
Powered by Z-BlogPHP & Yiwuku.com