这是来自Kaggle的Data Cleaning Challenge For 5 Days!
Kaggle是国外著名的数据竞赛分析平台，对新手十分友好，这里主要记录我在这个小挑战中学到一些数据清洗方法。
kaggle链接：https://www.kaggle.com
第一天：缺失数据的处理（Missing Values）
- 查看缺失数据：
data.isnull().sum()
- 填充缺失数据：
# 用0填充
data.fillna(0)
# 直接使用相同标签下下一个数据填充
#再用 0 填充
data.fillna(method = 'bfill', axis=0).fillna(0)
- 删除缺失数据
data.dropna()
第二天：数据缩放和归一化（Scale and Nomarlization Data）
- Scale:
# 导入 min_max scaling
from mlxtend.preprocessing import minmax_scaling
# 缩放数据使之处于0到1之间
scaled_data = minmax_scaling(original_data, columns = [0])
- Nomarlization
# 导入 Box-Cox Transformation
from scipy import stats
# 归一化数据
normalized_data = stats.boxcox(original_data)
第三天：日期时间的统一化（Parsing Dates）
- pd.to_datetime
pandas 中有一个特别的时间类型datetime64, to_datetime就是将object类型转换为datetime64。
landslides['date_parsed'] = pd.to_datetime(landslides['date'], format = "%m/%d/%y")
image
earthquakes['date_parsed'] = pd.to_datetime(earthquakes['Date'],infer_datetime_format=True)
image
万能的infer_datetime_format=True，pandas自己推断日期类型，优点是可兼容多格式的日期处理，缺点是降低处理速度。
datetime64可以用来干什么？
例：
#获得每一月同一天的统计数据
day_of_month_landslides = landslides['date_parsed'].dt.day
-
自设格式的日期数据处理
例如：
image
for i in range(len(volcanos.index)):
temp = volcanos['Last Known Eruption'].values[i]
if temp == 'Unknown':
volcanos['Last Known Eruption'].values[i] = None
elif "CE" in temp:
volcanos['Last Known Eruption'].values[i] = "-" + temp[0:5]
else:
volcanos['Last Known Eruption'].values[i] = temp[0:5]
image
附：关于%m,%d,%Y的那些事儿 http://strftime.org/
第四天：字符编码（Character Encodings）
- encode（编码）：
#将str编码为bytes类，但在编码€时出现了错误
before = "This is the euro symbol: €"
after = before.encode("utf-8", errors = "replace")
这里utf-8也可以为ascii、gbk等。
- decode（解码）:
after.decode("utf-8")
注：
(1)编码方式要和解码方式保持一致，否则会出现 UnicodeDecodeError
(2)有时候，编码会导致数据丢失
- 出现其他编码时：
1）第一步：猜测字符编码
import chardet
#以二进制方式读取文件
with open("../input/kickstarter-projects/ks-projects-201801.csv", 'rb') as rawdata:
result = chardet.detect(rawdata.read(10000))
print(result)
#当10k的编码结果不正确，可变化read()中的大小，如read(100000)
出现结果：{'encoding': 'Windows-1252', 'confidence': 0.73, 'language': '}
2）第二步：根据所得编码
kickstarter_2016 = pd.read_csv("../input/kickstarter-projects/ks-projects-201612.csv", encoding='Windows-1252')
- 编码保存至文件
#默认encoding = ‘utf-8’
kickstarter_2016.to_csv("ks-projects-201801-utf8.csv")
第五天：不一致的输入数据（Inconsistent Data Entry)
数据观察：
cities = suicide_attacks['City'].unique() #选出City字段中不重复值
cities.sort() #排序
cities
- 统一大小写
例：全部小写
suicide_attacks['City'] = suicide_attacks['City'].str.lower()
- 去除字符串两边的空格
suicide_attacks['City'] = suicide_attacks['City'].str.strip()
- 模糊匹配：
例如：d.i khan 和d. i khan
import fuzzywuzzy
from fuzzywuzzy import process
#与d.i khan相近的前10个字符串
matches = fuzzywuzzy.process.extract("d.i khan", cities, limit=10, scorer=fuzzywuzzy.fuzz.token_sort_ratio)
marches 的结果是一个包含十个元组的列表：[('d. i khan', 100), ('d.i khan', 100), ('d.g khan', 88)……]。所以需要重新去定义一个函数来处理它们。
def replace_matches_in_column(df, column, string_to_match, min_ratio = 90):
# 获取不重复的值
strings = df[column].unique()
# 获取前10个相近的字符串
matches = fuzzywuzzy.process.extract(string_to_match, strings,
limit=10, scorer=fuzzywuzzy.fuzz.token_sort_ratio)
# 只有当相近匹配 > 90
close_matches = [matches[0] for matches in matches if matches[1] >= min_ratio]
# 获取dataframe中所有相近的rows
rows_with_matches = df[column].isin(close_matches)
# 替换这些rows 至目标值
df.loc[rows_with_matches, column] = string_to_match
# 提示过程结束
print("All done!")
致谢：
Rachael Tatman：https://www.kaggle.com/rtatman
也可以从这里学到SQL、R的知识呦！
