搜索
零售購物籃分析基礎入門（點擊鏈接查看）http://www.mhhmf.com/pd?type=99993539&id=205937&navid=1
本案例使用Apriori關聯規則算法實現購物籃分析，發現超市不同商品之間的關聯關系，并根據商品之間的關聯規則制定銷售策略。
一、目標
通過對商場銷售數據進行分析，得到顧客的購買行為特征，并根據發現的規律而采取有效的行動，制定商品擺放、商品定價、新商品采購計劃，對增加銷量并獲取最大利潤有重要意義。請根據提供的數據實現以下目標：
- 構建零售商品的Apriori關聯規則模型，分析商品之間的關聯性。
- 根據模型結果給出銷售策略。
二、分析方法
購物籃關聯規則挖掘的主要步驟如下：
- 對原始數據進行數據探索性分析，分析商品的熱銷情況與商品結構。
- 對原始數據進行數據預處理，轉換數據形式，使之符合Apriori關聯規則算法要求。
- 在步驟2得到的建模數據基礎上，采用Apriori關聯規則算法調整模型輸入參數，完成商品關聯性分析。
- 結合實際業務，對模型結果進行分析，根據分析結果給出銷售建議，最后輸出關聯規則結果。
三、數據探索分析
查看數據特征以及對商品熱銷情況和商品結構進行分析
1、數據特征
In [1]:
import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline
In [2]:
inputfile = '/home/kesci/input/data_act_combat5529/GoodsOrder.csv' # 輸入的數據文件
data = pd.read_csv(inputfile,encoding = 'gbk') # 讀取數據
data .info() # 查看數據屬性
print("-"*40)
print('描述性統計結果：\n',data.describe().T) # 輸出結果
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 43367 entries, 0 to 43366
Data columns (total 2 columns):
id 43367 non-null int64
Goods 43367 non-null object
dtypes: int64(1), object(1)
memory usage: 677.7+ KB
----------------------------------------
描述性統計結果：
count mean std min 25% 50% 75% max
id 43367.0 4908.589504 2843.118248 1.0 2455.5 4828.0 7380.5 9835.0
In [3]:
data.head()
Out[3]:
2、分析熱銷商品
銷量排行前10商品的銷量及其占比
In [4]:
group = data.groupby(['Goods']).count().reset_index() # 對商品進行分類匯總
group_sorted=group.sort_values('id',ascending=False)
print('銷量排行前10商品的銷量:\n', group_sorted[:10]) # 排序并查看前10位熱銷商品
銷量排行前10商品的銷量:
Goods id
7 全脂牛奶 2513
8 其他蔬菜 1903
155 面包卷 1809
134 蘇打 1715
150 酸奶 1372
99 瓶裝水 1087
70 根莖類蔬菜 1072
85 熱帶水果 1032
143 購物袋 969
160 香腸 924
畫條形圖展示出銷量排行前10商品的銷量
In [5]:
x=group_sorted[:10]['Goods']
y=group_sorted[:10]['id']
plt.figure(figsize = (8, 4))
plt.barh(x,y)
plt.xlabel('銷量')
plt.ylabel('商品類別')
plt.title('商品的銷量TOP10')
plt.savefig('./top10.png')
In [6]:
# 銷量排行前10商品的銷量占比
data_nums = data.shape[0]
for idnex, row in group_sorted[:10].iterrows():
print(row['Goods'],row['id'],row['id']/data_nums)
全脂牛奶 2513 0.05794728710770863
其他蔬菜 1903 0.0438812922268084
面包卷 1809 0.04171374547466968
蘇打 1715 0.039546198722530956
酸奶 1372 0.031636958978024765
瓶裝水 1087 0.025065141697604168
根莖類蔬菜 1072 0.024719256577582033
熱帶水果 1032 0.023796896257523
購物袋 969 0.022344178753430026
香腸 924 0.021306523393363617
In [7]:
inputfile1 = '/home/kesci/input/data_act_combat5529/GoodsOrder.csv'
inputfile2 = '/home/kesci/input/data_act_combat5529/GoodsTypes.csv'
# 讀入數據
data = pd.read_csv(inputfile1,encoding = 'gbk')
types = pd.read_csv(inputfile2,encoding = 'gbk')
group = data.groupby(['Goods']).count().reset_index()
sort = group.sort_values('id',ascending = False).reset_index()
data_nums = data.shape[0] # 總量
del sort['index']
# 合并兩個datafreame,on='Goods'
sort_links = pd.merge(sort,types)
# 根據類別求和，每個商品類別的總量，并排序
sort_link = sort_links.groupby(['Types']).sum().reset_index()
sort_link = sort_link.sort_values('id',ascending = False).reset_index()
del sort_link['index'] # 刪除“index”列
# 求百分比，然后更換列名，最后輸出到文件
sort_link['count'] = sort_link.apply(lambda line: line['id']/data_nums,axis=1)
sort_link.rename(columns = {'count':'percent'},inplace = True)
print('各類別商品的銷量及其占比:\n',sort_link)
# 保存結果
outfile1 = './percent.csv'
sort_link.to_csv(outfile1,index = False,header = True,encoding='gbk')
各類別商品的銷量及其占比:
Types id percent
0 非酒精飲料 7594 0.175110
1 西點 7192 0.165840
2 果蔬 7146 0.164780
3 米糧調料 5185 0.119561
4 百貨 5141 0.118546
5 肉類 4870 0.112297
6 酒精飲料 2287 0.052736
7 食品類 1870 0.043120
8 零食 1459 0.033643
9 熟食 541 0.012475
畫餅圖展示每類商品銷量占比
In [8]:
data = sort_link['percent']
labels = sort_link['Types']
plt.figure(figsize=(8, 6))
plt.pie(data,labels=labels,autopct='%1.2f%%')
plt.title('每類商品銷量占比')
plt.savefig('./persent.png') # 把圖片以.png格式保存
通過分析各類別商品的銷量及其占比情況可知，非酒精飲料、西點、果蔬3類商品的銷量差距不大，占總銷量的50%左右。
進一步查看銷量第一的非酒精飲料類商品的內部商品結構，并繪制餅圖顯示其銷量占比情況
In [10]:
# 先篩選“非酒精飲料”類型的商品，然后求百分比，然后輸出結果到文件。
selected = sort_links.loc[sort_links['Types'] == '非酒精飲料']
# 對所有的“非酒精飲料”求和
child_nums = selected['id'].sum()
# 求百分比
selected.loc[:,'child_percent'] = selected.apply(lambda line: line['id']/child_nums,axis = 1)
selected.rename(columns = {'id':'count'},inplace = True)
print('非酒精飲料內部商品的銷量及其占比:\n',selected)
outfile2 = './child_percent.csv'
sort_link.to_csv(outfile2,index = False,header = True,encoding='gbk') # 輸出結果
非酒精飲料內部商品的銷量及其占比:
Goods count Types child_percent
0 全脂牛奶 2513 非酒精飲料 0.330919
3 蘇打 1715 非酒精飲料 0.225836
5 瓶裝水 1087 非酒精飲料 0.143139
16 水果/蔬菜汁 711 非酒精飲料 0.093627
22 咖啡 571 非酒精飲料 0.075191
38 超高溫殺菌的牛奶 329 非酒精飲料 0.043324
45 其他飲料 279 非酒精飲料 0.036740
51 一般飲料 256 非酒精飲料 0.033711
101 速溶咖啡 73 非酒精飲料 0.009613
125 茶 38 非酒精飲料 0.005004
144 可可飲料 22 非酒精飲料 0.002897
In [11]:
# 畫餅圖展示非酒精飲品內部各商品的銷量占比
data = selected['child_percent']
labels = selected['Goods']
plt.figure(figsize = (8,6))
# 設置每一塊分割出的間隙大小
explode = (0.02,0.03,0.04,0.05,0.06,0.07,0.08,0.08,0.3,0.1,0.3)
plt.pie(data,explode = explode,labels = labels,autopct = '%1.2f%%',
pctdistance = 1.1,labeldistance = 1.2)
# 設置標題
plt.title("非酒精飲料內部各商品的銷量占比")
# 把單位長度都變的一樣
plt.axis('equal')
# 保存圖形
plt.savefig('./child_persent.png')
通過分析非酒精飲料內部商品的銷量及其占比情況可知，全脂牛奶的銷量在非酒精飲料的總銷量中占比超過33%，前3種非酒精飲料的銷量在非酒精飲料的總銷量中的占比接近70%，這就說明大部分顧客到店購買的飲料為這3種，而商場就需要時常注意貨物的庫存，定期補貨。
四、數據預處理
前面對數據探索分析發現數據完整，并不存在缺失值。建模之前需要轉變數據的格式，才能使用Apriori函數進行關聯分析。這里對數據進行轉換。
In [12]:
inputfile='/home/kesci/input/data_act_combat5529//GoodsOrder.csv'
data = pd.read_csv(inputfile,encoding = 'gbk')
# 根據id對“Goods”列合并，并使用“，”將各商品隔開
data['Goods'] = data['Goods'].apply(lambda x:','+x)
data = data.groupby('id').sum().reset_index()
# 對合并的商品列轉換數據格式
data['Goods'] = data['Goods'].apply(lambda x :[x[1:]])
data_list = list(data['Goods'])
# 分割商品名為每個元素
data_translation = []
for i in data_list:
p = i[0].split(',')
data_translation.append(p)
print('數據轉換結果的前5個元素：\n', data_translation[0:5])
數據轉換結果的前5個元素：
[['柑橘類水果', '人造黃油', '即食湯', '半成品面包'], ['咖啡', '熱帶水果', '酸奶'], ['全脂牛奶'], ['奶油乳酪', '肉泥', '仁果類水果', '酸奶'], ['煉乳', '長面包', '其他蔬菜', '全脂牛奶']]
五、模型構建
本案例的目標是探索商品之間的關聯關系，因此采用關聯規則算法，以挖掘它們之間的關聯關系。關聯規則算法主要用于尋找數據中項集之間的關聯關系，它揭示了數據項間的未知關系。基于樣本的統計規律，進行關聯規則分析。根據所分析的關聯關系，可通過一個屬性的信息來推斷另一個屬性的信息。當置信度達到某一閾值時，就可以認為規則成立。
Apriori算法是常用的關聯規則算法之一，也是最為經典的分析頻繁項集的算法，它是第一次實現在大數據集上可行的關聯規則提取的算法。除此之外，還有FP-Tree算法，Eclat算法和灰色關聯算法等。本案例主要使用Apriori算法進行分析。
模型具體實現步驟:
- 設置建模參數最小支持度、最小置信度，輸入建模樣本數據
- 采用Apriori關聯規則算法對建模的樣本數據進行分析，以模型參數設置的最小支持度、最小置信度以及分析目標作為條件，如果所有的規則都不滿足條件，則需要重新調整模型參數，否則輸出關聯規則結果。
目前，如何設置最小支持度與最小置信度并沒有統一的標準。大部分都是根據業務經驗設置初始值，然后經過多次調整，獲取與業務相符的關聯規則結果。本案例經過多次調整并結合實際業務分析，選取模型的輸入參數為：最小支持度0.02、最小置信度0.35。其關聯規則代碼如代碼所示。
In [13]:
from numpy import *
def loadDataSet():
return [['a', 'c', 'e'], ['b', 'd'], ['b', 'c'], ['a', 'b', 'c', 'd'], ['a', 'b'], ['b', 'c'], ['a', 'b'],
['a', 'b', 'c', 'e'], ['a', 'b', 'c'], ['a', 'c', 'e']]
def createC1(dataSet):
C1 = []
for transaction in dataSet:
for item in transaction:
if not [item] in C1:
C1.append([item])
C1.sort()
# 映射為frozenset唯一性的，可使用其構造字典
return list(map(frozenset, C1))
# 從候選K項集到頻繁K項集（支持度計算）
def scanD(D, Ck, minSupport):
ssCnt = {}
for tid in D: # 遍歷數據集
for can in Ck: # 遍歷候選項
if can.issubset(tid): # 判斷候選項中是否含數據集的各項
if not can in ssCnt:
ssCnt[can] = 1 # 不含設為1
else:
ssCnt[can] += 1 # 有則計數加1
numItems = float(len(D)) # 數據集大小
retList = [] # L1初始化
supportData = {} # 記錄候選項中各個數據的支持度
for key in ssCnt:
support = ssCnt[key] / numItems # 計算支持度
if support >= minSupport:
retList.insert(0, key) # 滿足條件加入L1中
supportData[key] = support
return retList, supportData
def calSupport(D, Ck, min_support):
dict_sup = {}
for i in D:
for j in Ck:
if j.issubset(i):
if not j in dict_sup:
dict_sup[j] = 1
else:
dict_sup[j] += 1
sumCount = float(len(D))
supportData = {}
relist = []
for i in dict_sup:
temp_sup = dict_sup[i] / sumCount
if temp_sup >= min_support:
relist.append(i)
# 此處可設置返回全部的支持度數據（或者頻繁項集的支持度數據）
supportData[i] = temp_sup
return relist, supportData
# 改進剪枝算法
def aprioriGen(Lk, k):
retList = []
lenLk = len(Lk)
for i in range(lenLk):
for j in range(i + 1, lenLk): # 兩兩組合遍歷
L1 = list(Lk[i])[:k - 2]
L2 = list(Lk[j])[:k - 2]
L1.sort()
L2.sort()
if L1 == L2: # 前k-1項相等，則可相乘，這樣可防止重復項出現
# 進行剪枝（a1為k項集中的一個元素，b為它的所有k-1項子集）
a = Lk[i] | Lk[j] # a為frozenset()集合
a1 = list(a)
b = []
# 遍歷取出每一個元素，轉換為set，依次從a1中剔除該元素，并加入到b中
for q in range(len(a1)):
t = [a1[q]]
tt = frozenset(set(a1) - set(t))
b.append(tt)
t = 0
for w in b:
# 當b（即所有k-1項子集）都是Lk（頻繁的）的子集，則保留，否則刪除。
if w in Lk:
t += 1
if t == len(b):
retList.append(b[0] | b[1])
return retList
def apriori(dataSet, minSupport=0.2):
# 前3條語句是對計算查找單個元素中的頻繁項集
C1 = createC1(dataSet)
D = list(map(set, dataSet)) # 使用list()轉換為列表
L1, supportData = calSupport(D, C1, minSupport)
L = [L1] # 加列表框，使得1項集為一個單獨元素
k = 2
while (len(L[k - 2]) > 0): # 是否還有候選集
Ck = aprioriGen(L[k - 2], k)
Lk, supK = scanD(D, Ck, minSupport) # scan DB to get Lk
supportData.update(supK) # 把supk的鍵值對添加到supportData里
L.append(Lk) # L最后一個值為空集
k += 1
del L[-1] # 刪除最后一個空集
return L, supportData # L為頻繁項集，為一個列表，1，2，3項集分別為一個元素
# 生成集合的所有子集
def getSubset(fromList, toList):
for i in range(len(fromList)):
t = [fromList[i]]
tt = frozenset(set(fromList) - set(t))
if not tt in toList:
toList.append(tt)
tt = list(tt)
if len(tt) > 1:
getSubset(tt, toList)
def calcConf(freqSet, H, supportData, ruleList, minConf=0.7):
for conseq in H: #遍歷H中的所有項集并計算它們的可信度值
conf = supportData[freqSet] / supportData[freqSet - conseq] # 可信度計算，結合支持度數據
# 提升度lift計算lift = p(a & b) / p(a)*p(b)
lift = supportData[freqSet] / (supportData[conseq] * supportData[freqSet - conseq])
if conf >= minConf and lift > 1:
print(freqSet - conseq, '-->', conseq, '支持度', round(supportData[freqSet], 6), '置信度：', round(conf, 6),
'lift值為：', round(lift, 6))
ruleList.append((freqSet - conseq, conseq, conf))
# 生成規則
def gen_rule(L, supportData, minConf = 0.7):
bigRuleList = []
for i in range(1, len(L)): # 從二項集開始計算
for freqSet in L[i]: # freqSet為所有的k項集
# 求該三項集的所有非空子集，1項集，2項集，直到k-1項集，用H1表示，為list類型,里面為frozenset類型，
H1 = list(freqSet)
all_subset = []
getSubset(H1, all_subset) # 生成所有的子集
calcConf(freqSet, all_subset, supportData, bigRuleList, minConf)
return bigRuleList
if __name__ == '__main__':
dataSet = data_translation
L, supportData = apriori(dataSet, minSupport = 0.02)
rule = gen_rule(L, supportData, minConf = 0.35)
frozenset({'水果/蔬菜汁'}) --> frozenset({'全脂牛奶'}) 支持度 0.02664 置信度： 0.368495 lift值為： 1.44216
frozenset({'人造黃油'}) --> frozenset({'全脂牛奶'}) 支持度 0.024199 置信度： 0.413194 lift值為： 1.617098
frozenset({'仁果類水果'}) --> frozenset({'全脂牛奶'}) 支持度 0.030097 置信度： 0.397849 lift值為： 1.557043
frozenset({'牛肉'}) --> frozenset({'全脂牛奶'}) 支持度 0.021251 置信度： 0.405039 lift值為： 1.58518
frozenset({'冷凍蔬菜'}) --> frozenset({'全脂牛奶'}) 支持度 0.020437 置信度： 0.424947 lift值為： 1.663094
frozenset({'本地蛋類'}) --> frozenset({'其他蔬菜'}) 支持度 0.022267 置信度： 0.350962 lift值為： 1.813824
frozenset({'黃油'}) --> frozenset({'其他蔬菜'}) 支持度 0.020031 置信度： 0.361468 lift值為： 1.868122
frozenset({'本地蛋類'}) --> frozenset({'全脂牛奶'}) 支持度 0.029995 置信度： 0.472756 lift值為： 1.850203
frozenset({'黑面包'}) --> frozenset({'全脂牛奶'}) 支持度 0.025216 置信度： 0.388715 lift值為： 1.521293
frozenset({'糕點'}) --> frozenset({'全脂牛奶'}) 支持度 0.033249 置信度： 0.373714 lift值為： 1.462587
frozenset({'酸奶油'}) --> frozenset({'其他蔬菜'}) 支持度 0.028876 置信度： 0.402837 lift值為： 2.081924
frozenset({'豬肉'}) --> frozenset({'其他蔬菜'}) 支持度 0.021657 置信度： 0.375661 lift值為： 1.941476
frozenset({'酸奶油'}) --> frozenset({'全脂牛奶'}) 支持度 0.032232 置信度： 0.449645 lift值為： 1.759754
frozenset({'豬肉'}) --> frozenset({'全脂牛奶'}) 支持度 0.022166 置信度： 0.38448 lift值為： 1.504719
frozenset({'根莖類蔬菜'}) --> frozenset({'全脂牛奶'}) 支持度 0.048907 置信度： 0.448694 lift值為： 1.756031
frozenset({'根莖類蔬菜'}) --> frozenset({'其他蔬菜'}) 支持度 0.047382 置信度： 0.434701 lift值為： 2.246605
frozenset({'凝乳'}) --> frozenset({'全脂牛奶'}) 支持度 0.026131 置信度： 0.490458 lift值為： 1.919481
frozenset({'熱帶水果'}) --> frozenset({'全脂牛奶'}) 支持度 0.042298 置信度： 0.403101 lift值為： 1.577595
frozenset({'柑橘類水果'}) --> frozenset({'全脂牛奶'}) 支持度 0.030503 置信度： 0.36855 lift值為： 1.442377
frozenset({'黃油'}) --> frozenset({'全脂牛奶'}) 支持度 0.027555 置信度： 0.497248 lift值為： 1.946053
frozenset({'酸奶'}) --> frozenset({'全脂牛奶'}) 支持度 0.056024 置信度： 0.401603 lift值為： 1.571735
frozenset({'其他蔬菜'}) --> frozenset({'全脂牛奶'}) 支持度 0.074835 置信度： 0.386758 lift值為： 1.513634
frozenset({'酸奶', '全脂牛奶'}) --> frozenset({'其他蔬菜'}) 支持度 0.022267 置信度： 0.397459 lift值為： 2.054131
frozenset({'酸奶', '其他蔬菜'}) --> frozenset({'全脂牛奶'}) 支持度 0.022267 置信度： 0.512881 lift值為： 2.007235
frozenset({'全脂牛奶', '根莖類蔬菜'}) --> frozenset({'其他蔬菜'}) 支持度 0.023183 置信度： 0.474012 lift值為： 2.44977
frozenset({'其他蔬菜', '根莖類蔬菜'}) --> frozenset({'全脂牛奶'}) 支持度 0.023183 置信度： 0.48927 lift值為： 1.914833
根據輸出結果，對其中4條進行解釋分析如下：
- {'其他蔬菜'，'酸奶'}=>{'全脂牛奶'}支持度約為2.23%，置信度約為51.29%。說明同時購買酸奶、其他蔬菜和全脂牛奶這3種商品的概率達51.29%，而這種情況發生的可能性約為2.23%。
- {'其他蔬菜'}=>{'全脂牛奶'}支持度最大約為7.48%，置信度約為38.68%。說明同時購買其他蔬菜和全脂牛奶這兩種商品的概率達38.68%，而這種情況發生的可能性約為7.48%。
- {'根莖類蔬菜'}=>{'全脂牛奶'}支持度約為4.89%，置信度約為44.87%。說明同時購買根莖類蔬菜和全脂牛奶這3種商品的概率達44.87%，而這種情況發生的可能性約為4.89%。
- {'根莖類蔬菜'}=>{'其他蔬菜'}支持度約為4.74%，置信度約為43.47%。說明同時購買根莖類蔬菜和其他蔬菜這兩種商品的概率達43.47%，而這種情況發生的可能性約為4.74%。
由上分析可知，顧客購買酸奶和其他蔬菜的時候會同時購買全脂牛奶，其置信度最大達到51.29%。因此，顧客同時購買其他蔬菜、根莖類蔬菜和全脂牛奶的概率較高。
對于模型結果，從購物者角度進行分析：現代生活中，大多數購物者為“家庭煮婦”，購買的商品大部分是食品，隨著生活質量的提高和健康意識的增加，其他蔬菜、根莖類蔬菜和全脂牛奶均為現代家庭每日飲食的所需品。因此，其他蔬菜、根莖類蔬菜和全脂牛奶同時購買的概率較高，符合人們的現代生活健康意識。
六、模型應用
模型結果表明：顧客購買其他商品的時候會同時購買全脂牛奶。因此，商場應該根據實際情況將全脂牛奶放在顧客購買商品的必經之路上，或是放在商場顯眼的位置，以方便顧客拿取。顧客同時購買其他蔬菜、根莖類蔬菜、酸奶油、豬肉、黃油、本地蛋類和多種水果的概率較高，因此商場可以考慮捆綁銷售，或者適當調整商場布置，將這些商品的距離盡量拉近，從而提升顧客的購物體驗。
End.
作者：云中君
來源：https://www.kesci.com/mw/project/5e9a9d0bebb37f002c60cf1b
本文為轉載分享，如果涉及作品、版權和其他問題，請聯系我們第一時間刪除（微信號：lovedata0520）
更多優質文章搜索http://www.mhhmf.com/
更多零售知識訂閱愛數據專欄：零售數字化
