联系我们
电话:1351231345
传真:020-66889888
地址:内蒙古自治区阿拉善左旗西南部
当前位置:主页 > 新宝6问答 > 问答分类2 > 问答分类2

超详解析零售业中的那些数据挖掘问题(二)

时间:2019-03-21 09:52 作者:dongdong 点击:

  本文是 TalkingData 首席数据科学家张夏天翻译自 Highly Scalable Blog 的一篇文章,介绍了零售业中的数据挖掘问题。本文内容包括零售业中的多个常见问题,如响应建模、推荐系统、需求预测、价格差异、促销活动规划、类目管理、财务影响等。其中涉及的资源分配优化问题、个性化推荐、定向广告等业务问题,上下两篇完整阅读大约需要两个半小时,本次发布下篇。

  零售商向客户提供一组产品时,针对每个用户都制定不同的价格来最大化整体的收入。另外,该问题可以重新定义为提供定向折扣从而在基线.应用

  尽管我们在问题的定义中暗示了是细粒度的个体定价方式,但是这是非常极端的情况更多常见的方法是对大的客户分群设置不同的价格。

  此处 G 是利润,Q 是销售数量,P 是单位价格,V 是可变的单位成本(大致相当于零售商拿到的批发价格),而是固定成本如管理成本。公式(4.1)中的价格和销量是互相依赖的,因为随着价格的提高需求会下降,反之亦然。价格和销量的关系通常可以用一个线性函数来逼近,这一函数具有一个一般被称为需求弹性的系数:

  换言之, 需求弹性是需求量的百分比变化与价格的百分比变化的比率。公式(4.1)和(4.2)可以可视化如下:

  需求曲线是一条由需求弹性和零售商利润定义的斜线,数值上等价于(Po-V) · Q0,此处 P0 是由零售商设定的单位产品价格。

  另一方面,高价格将导致销售量下降,结果利润也会变得很小。这基本上意味着价格服从于一个数值优化问题,并且零售商可以用统计技术来估计需求弹性并找到使得公式(4.1)最大化的最优价格。

  这一方法,即所谓计量价格优化的实用性是比较有限的 [SM11] 因为又公式(4.1)表达的模型过于简化了市场行为并丢弃了在竞争市场中一些重要的影响价格-数量关系的因素。

  例如,价格大幅度下降可能会引发竞争对手降低整个行业价格的对称反应,所以所有的市场参与者最终都会处于一个销售量和利润都较低的状况。

  尽管计量价格优化有很多局限性,但公式(4.1-4.2)揭示了价格差异的本质。对于任意一个价格,无论它有多优化,这一价格都是一种折衷。因为一些客户会因为这一价格太贵而放弃购买,尽管他们可能愿意以更低的在 P0 和 V 之间的价格(依然对两种利润是正向贡献)购买该产品。

  此外,一些客户可以容忍高于 P0 的价格,尽管他们产生的销售量会相对较小。在这两种情况下,零售商无法获取位于需求曲线和可变成本线围成的三角区域之中的额外利润。

  价格差异是一种自然的方法来克服单一常规价格的限制,通过根据客户的付款意愿将客户分群并向不同的客户群体提供不同的价格。考虑一个这种策略的特殊情况,在前一图表的常规价格外补充了一个较高的溢价(注意与单一价格策略相比利润区域如何增加):

  这一考虑带来了零售商如何把相同的产品以不同的价格卖给不同的客户这一挑战性问题。一般而言,这需要在具有不同付费意愿的客户之间设置区隔以使得高付费意愿的客户不能以为低付费意愿客群设定的价格来付费。零售商可以使用如下几种区隔机制:

  连锁零售商店一般都位于不同的社区内,这些社区具有不同的平均家庭收入、平均家庭规模、最近竞争商店距离等人口属性和竞争性因素。这就自然对客户的价格敏感性以及寻找替代供应商的能力或者意愿做了区分。这使得零售商可以在店铺的级别上在不同区域设置不同的价格。

  诸如软饮料或化妆品之类的快速消费品(FMCG)具有较高的周转率,消费者自然可以选择是频繁购买少量产品或者储存大量的产品,这种权衡也受到诸如家庭规模等人口因素的影响。这一机制通过购买大型或小型包装的意愿来创建区隔,并为不同包装尺寸设置不同的单位边际价格。买一送一(BOGO)优惠也与此机制有关。

  客户可以根据他们是否愿意等待较低价格还是以正常价格立即购买来区分。此种客户分群方式被广泛应用于服饰领域,在该领域季节性促销是主要的营销机制之一。

  许多客户不会愿意以常规价格来购买某一产品,但是当有折扣价时却会考虑购买。因此零售商可以从折扣中获得额外的客户,尽管他们贡献的毛利率相较于那些以正常价格购买的产品的客户较低。另一方面,向太过广泛的受众提供折扣可能是有害的,因为那些愿意以正常价格购买的客户也会使用折扣(当没有折扣的时候),前面章节中讨论过的响应建模技术有助于解决这一问题。然而有一种 19 世纪就存在的传统解决方案——优惠券,优惠券代表需要付出一定努力才能赚取或兑换的价格折扣(例如,客户必须在报纸上找到它,剪下来并在商店出示),这就通过花费时间和精力获得折扣的意愿区分了客户。

  不同的销售渠道自然代表不同的区隔,因为客户对购买渠道的选择与他们的支付意愿密切相关。例如,与在杂货店购买相同葡萄酒的顾客相比,酒类商店顾客的价格敏感性一直较低 [CU13]。

  尽管这些技术已经应用很久了,但是要建立一个完整的折扣优化模型是非常挑战的。

  并且,据我们所知,所有现有的模型都有这样或者那样的局限性。在本节剩下的部分我们考虑两个价格差异模型,这两个模型是根据美国超市(特别是 Safeway 在芝加哥子公司的数据)的数据设计并在这些数据上做过验证的。

  让我们考虑这样一种情况:一个零售商运营多个店铺,销售的某种产品也有几种品牌,产品的规格也有几种,例如可口可乐和百事可乐分别有 2 听装、4 听装和 6 听装。目标是优化每种包装的单位产品价格,这里假设单位产品价格是可以根据产品规格和店铺来调整。我们从标准的多元逻辑特模型(multinomial logit MNL)开始,这一模型在前一节需求预测中讨论过。

  它表示顾客在时间 t 在商店 s 购买产品 j 的概率,J 是产品的数量(所有品牌的所有规格加上)。时间以相对较长的时间间隔(如周)进行测量。参数变量 x 可以使用以下回归模型进行估计:

  此处 zj 是产品规格,Pjts 是价格,djts 是折扣力度(单位美元),ruts 整合了诸如最近竞争商店等竞争性因素,而 fjts 则整合了环境变化因素如天气。因此, 回归参数 αk 基本上对应着客户对品牌、规格的偏好、对价格的敏感性、对折扣的响应度、对竞争者的偏好、对变化因素的敏感性,以及折扣对价格敏感性的影响等等。

  文献 [KJ05] 认为促销案例中的价格敏感性回归模型应该比以上仅用一个回归量来表达价格敏感性更复杂,因为客户会有囤积产品的情况,这就使得过去的促销会提高其对当前产品价格的敏感性。这一方面可以通过将相应的回归器分解为两个部分来建模,如下所示:

  以上公式中 α3 是平均敏感度而第二项则表示记忆效应。其中 W 是表示历史深度,即过去的周数,p0 表示常规价格,而 p 是实际的折后价格。类似的,也有观点认为对促销的敏感性也与最近的促销有关:

  此处 wj 是最近的促销活动过去的周数。促销敏感性对 wj 依赖基于以下假设,两次促销之间的周期越长,则对促销的响应度越高。

  公式(4.3)允许我们预测销售量,所以价格优化问题能够根据公式(4.1)分时间周期来定义:

  以上公式中 cjt 表示批发价格,而 Qjt 表示预测的销售量。此处的优化约束条件是为了避免由市场竞争或者客户行为等主要因素的变化引起的剧烈的价格变化和偏移。

  文献 [KJ05] 提出了这一特殊的约束条件,这一约束要求优化后的产品份额加权平均价格(表示产品的市场份额)不会超过优化前的份额加权平局价格(表示原始价格)。这一优化问题(4.4)可以在店铺水平上得到求解,这意味着在规格和地点上都可以做差异化,或者仅在连锁店级别上来差异化数量折扣。

  接下来我们考虑文献 [JT13] 提出的另一种模型,这一模型是为了专门优化个性化折扣和优惠券的。这一模型的主要优势是它不仅是优化折扣的粒度,同时也尝试为指定用户提供折扣的最优时间和折扣的最优有效期。

  这些时间属性上的优化思想来自于以下假设:一个客户购买的概率不是随时间恒定的,而是会随着时间变化的,因此对每一个用户而言都存在最优的折扣时间窗口。

  这一模型的主要缺陷是其只能对特定品牌如厂商促销来进行优化,而不能用于品类管理。你为了对折扣的时间属性建模,假设对产品的折扣力度为 d,我们将客户 u 在时间 t 购买产品的概率分解为购买产品的概率和客户在在时刻 t 购买的概率乘积:

  对给定产品的购买概率密度函数能够用公式(4.3)中用过的 MNL 的模型来估计。在时刻时购买的概率密度函数在文献 [JT13] 中由厄兰分布来建模:

  此处参数变量 yu 可以用回归模型来估计,该回归模型与公式(4.3)中用来估计参数变量的类似,会用一个回归量来描述折扣力度,因此之后可以对其进行优化。

  上面定义的购买概率使得我们能够对给定客户的销售量 Qu 作为折扣力度(以美元为单位)、折扣起始时间、和折扣周期的函数来建模:

  这里 m 是在正常价格下的毛利率。以上公式中的第一项对应着收入,收入由三个方面组成(促销前的收入、促销期间的收入和促销后的收入);第二项对应着营销活动的成本。下图描述了这一优化问题:

  顶部的第一个图显示了客户 u 购买的概率密度函数曲线,此图中对于给定产品在正常价格时的销量对应着 S0 区域。一个固定的永久折扣增加的销量对应的区域为 S1,因此总收入和促销成本(如中间的图所示)是与 S0 和 S1 成正比的。

  时间优化的促折销使得收入与 S0+S2 成正比, 其成本与 S02+S2(如底部的图所示)。固定折扣促销和时间优化的促销之间的这种差异表明在概率密度函数具有某些数量性质时存在利用时间优化来改善毛利率的潜力。

  零售商准备一次促销活动,即对某个或者一组特定商品进行有时限的折扣。对促销活动的规划需要估计到下列有关的值:

  什么样的价格会最大化收入?价格可以考虑是一个恒定值或者是一个从活动开始到结束不同时间段的函数。

  我们将考虑库存水平是预先确定的,零售商试图计算最优价格这种情况。这是时尚零售商在处理季节性清仓和款式翻新 [JH14, CA12] 中遇到的典型问题。这一问题可以以不同的方式来定义,如将需求预测和价格优化作为独立的问题来处理,也可以同时优化库存水平和价格,总之其目的是最大化收入。

  快消品和易腐品的零售商可以使用促销活动策划来调整销售节奏与产品保质期同步 。

  动态需求预测和价格优化是经济学中所研究的基础问题,被称为收入管理。收入管理的理论在书籍如 [TA05] 中有很好的阐释和系统化的介绍。在服务业中的预定服务,如机票、体育场座位、酒店房间、租车等等场景中可以找到收入管理自动化的最先进和最有效率的例子。

  要理解这些技术可以如何在零售领域中使用,我们来考察由 RueLaLa(一个时尚零售商)提出来的方法论。

  我们假设一个零售商计划对 N 个产品或者产品组(产品组中的产品价格相同,如不同口味的酸奶,或者不同花色的 T 恤)进行打折。设 P 为价格集合,该集合包含每个产品可以设定的价格。在实践中,P 通常是根据业务规则组成的比较小集合。

  例如,价格下限可以根据零售商的盈利水平定义为 29.90, 价格调整幅度根据心理价格可以设定为 5 美元,则 P=$29.9,$34.9,$39.9,$44.9,$49.9。

  假设促销活动中的所有产品或者产品组都有某些共同点,例如同属于相同的类目“女鞋”或者“平安夜食品”,因此对一个产品的需求潜在的依赖于其他可替代产品的价格。

  通过引入变量 S,其等于所有参与促销活动的竞争产品(产品组)的价格之和,而对某一产品估计的期望需求则为数学期望 E{Q i,pj,S},此处 Q 是表示需求量的随机变量,i=1,2,……,N 是产品的索引,而 j =1,2,……,P 是单个产品或产品组的价格。既然 Q 与产品价格 S 和都相关,这就隐含地包含了产品价格与可替代产品的评价价格的比值对需求和其弹性都是有影响的。

  现在我们可以在假设 S 为固定的并对所有可能的 S 求解这一优化问题 [JH14]:

  当产品 i 的价格为 pj 时,二值变量 δi,j∈0,1 为 1,否则为 0。上述优化问题中的目标函数可以自然地表达为促销活动的收入。第一项约束保证每个产品的价格都在 P 之中(原文可能有问题),而第二项约束保证所有产品的价格之和为 S。其他关于库存水平的约束也可以加入到优化问题中来。

  以上的优化问题需对需求 E{Q i,pj,S} 做估计,这可以用前面章节中做需求预测和价格分群的技术来解决。然而,需要非常注意到缺货(而且是可取的)是促销活动中非常典型的情况,因此对很多产品的需求预测建模所要用到的历史数据都是被截断的。

  正如 [JH14] 中所建议的那样,可以通过使用在此前促销期间没有缺货的产品的数据为不同产品类别构建画像来解决此问题,并使用这些画像来调整相应类别的需求曲线.问题定义

  零售商根据类目销售产品。一个类目表示一组相对内聚的产品,这些产品有很多共同点(如甜点、“女式牛仔”等),所以客户有可能在他们的首选产品因某些原因缺货时愿意用另一产品来替代。

  品类管理是一项相对专业化的工作,但是当目标是优化一个产品类目的整体收益而不是一个单一产品的收益时,它也会涉及到在促销优化问题中存在的替代效应问题。零售商一般情况下对类目的整体收益的关心程度远胜于对单个产品的优化,因此在本节中讨论的方法可以被用在很多不同的应用中以实现最优解决方案。

  从计量经济学的角度来看,类目管理问题是由收益递减规律引起的。或者更具体地说,收入和成本与类目的规模关系是不同的,总的趋势是消费者购买能力在某个时候达到饱和,同时由于店铺面积和其他运营成本的增加,成本持续增长:

  这一趋势引出了类目优化问题。这是一个非常具有挑战性的问题,因为它需要对整个类目中所有产品之间的相互依赖关系建模。然而,尽管面临这些挑战,在 [KOK07] 中已经提出了一种切实可行的类目优化模型,并在荷兰的连锁超市 Albert Heijn 中应用。在研究这一方法之前,我们先引入下列符号:

  N={1,2,……,J} 零售商给用户提供的一个类目下面的最大产品集合,即所有品类。

  F0 统一库存单位度量下的库存总容量。这里有个假设是所有产品的库存水平之和不能超过 F0。库存总容量可以由仓库或者店铺的可用货架空间所约束。

  dj 表示产品 j 的原始需求率(当所有 N 品类都展示给客户时有多少顾客会选择该产品)

  Dj 观察到的产品的需求率(每天因为原始意愿或者替代效应而实际选择产品 j 的数量)。对给定产品观察到的需求与原始需求和其他产品的可获得性(替代效应)有关系,其可以被视为函数:

  其中毛利率 Gj 是给定产品和其对应的观测需求的函数。这一函数很大程度上与零售商的商业模式有关,所以我们下面介绍一些通用的函数模板,基于这些模板可以根据实际的使用情况来定制毛利率函数:

  公式(6.2)将观测需求乘以毛利率 m,这是对毛利润最简单的建模方式,该公式隐含假设了补货及时而没有缺货的情况。杂货这样的快消品正是属于这种情况,但是在其他领域如服饰则必须如公式(6.3)那样考虑缺货的情况。销售易腐货物的零售商还要考虑货损,公式(6.4)通过引入单位损失变量 L 来对此进行建模。

  要解决(6.1)中的优化问题,我们需要定义观测需求函数。在无缺货假设下,需求函数可按照下面公式来建模:

  估计替代率 αk-j 是比较困难的事情因为产品集合 J 中有多达不同 J2的替代率。不过,[KOK07] 找到了下述客户行为的简化模型,在实践中这一模型有足够的精度并仅需要用一个而不是 J2 个变量:如果产品 k 买不到,客户会选择其第二选择产品来替代的概率为 δ,这一概率对一个类目下的所有产品都是一样的,则客户不买任何东西的概率为(1- δ)。这一模型引出了如下替代率的简单公式:

  为了估计 δ, 我们将给定店铺的总需求定义为Qjh(可由历史数据来估计)之和:

  其中 Vh 是每天到访店铺 h 的客户总数。在公式(6.10)中,所有 Q0jh 之和乘以 Vh 表示在给定全品类时的的总需求。然而的值时针对拥有全品类的店铺估计得的,其值时与给定店铺相关(如地点,店铺面积等等)而没有被建模的。这可以通过公式(6.7)估计的类目需求和从公式(6.8)预测的需求比值来补偿调整。

  例如,零售商可以画出毛利率根据给定产品或者产品组的库存水平变化的函数曲线。这些曲线对易腐产品尤其具有描述性,因为毛利率是凸函数,当库存水平为 0 时函数值为 0,而当库存水平过高时毛利率因为产品过期造成的损失也会为 0,毛利率的最优值是在两种极端情况之间。

  如果缺乏上述被讨论的优化方法的财务表现方面的数据,我们对这些方法和对应的数据问题的概述将是不完整的。尽管这些数据是不难获取的,但对此我们仍然需要谨慎对待,因为财务表现与零售商的商业模型机密相关,并且事实上我们无法隔离其他环境因素如市场增长或者竞争对手的行动对优化问题的影响。

  除此之外,这些数字可能因很多因素而有很大的差异,所以本文中我们的目标只是提供一些基准,使得读者可以对优化的潜在幅度有所了解。以下列表收集了一些关于这些优化方法对财务影响的实例:

  在 RueLaLa 的实践中对 [JH14] 中提出的营销活动优化进行了全面评估,得出的一般结论是,综合优化模型比之前使用的启发式算法能提高约 10% 的收入。 [CA12] 中提出的并经 Zara 验证过的事件优化模型声称可提供 5.8% 的收入增长。

  类目管理框架已在 Albert Heijn 进行了验证,以优化 37 个商店中 25 个子类别的分类。发现在这 25×37 = 1295 个情况中,使用传统方法有 701 个不理想,在使用了新的类目管理方法进行优化后可以提高约 6.2% 的毛利率。

  最后,值得注意的是,大多数这里讨论的优化方法不会显著的影响零售商的成本,因此收入的提升大概率的直接带来净利润的提升。

  在前面的章节中我们概述了一些零售相关的计量经济学问题,给出了其应用和用例,并且阐述了可以应用到这些问题上的数据分析方法和优化模型。在最后的一节中,我们将把上述这些模型联系起来以提供一个全景式的总结。

  首先,我们可以将数据探索和知识发现流程放入一个单独的层级中,该层级主要使用无监督学习算法,并且主要依靠人为因素来评估数据挖掘结果,例如客户群或者是购买产品的频繁项集。

  接下来的两层分别与建模和优化有关。广义而言,建模层的基本目标是提供一个全面的消费者模型,定量描述他或她的价格敏感性,对活动和折扣的响应倾向,用一种产品替代另一种产品的意愿,对推荐的接受度,等等。

  但是在实践中建立这样一个全面的模型是非常困难的,所以我们使用多种专用模型来处理不同的问题。然而,需要指出的是,这种想象中的消费者模型涉及到所有类型的优化问题,因此获取有关客户行为各个方面的全面数据至关重要。

  优化层的主要挑战是多目标的联合优化。联合优化对计算来说是一个严重的挑战,而且最重要的是联合优化受到底层预测模型能力的限制,所以几乎所有的优化技术都只能处理一个或两个目标。

  我们把这些层都放到下图中。组件之间存在许多可能的依赖关系和相互作用,因此我们仅展示了一个与响应建模相关的样例程流,以免图变得过于混乱。

  其中 Q 是销售量,P 是价格,V 是可变成本,而 C 表示固定成本。假设一个服装零售商每月以 40 美元的单价销售 10 万件服装,假设每件服装的批发价是 25 美元而固定成本为一个月 50 万美元。我们可以计算销售量、价格、可变成本和固定成本在变化百分之一的情况下是如何影响利润的:

  如我们已经提到的,许多零售业中的优化问题与用户的行为模型是内在相关的。在个人客户层面建立这种模型的能力是数据挖掘技术带来的最重要的好处之一,也是一对一营销的关键推动力。

  客户建模的最复杂的例子可以在推荐系统中找到,这些系统通常使用隐式维度的概念来捕捉客户和产品的心理特征。这一概念非常的重要,它可能远远超出推荐系统的范围,但据我们所知,它并没有如期望的那样在其他应用中被广泛应用。

  在零售业中实现完全的自动化决策是极具雄心的,甚至可以说,在实践中想要衡量这些优化方法的表现几乎是不可能的,因为观察到的收益提升可能与市场趋势,竞争对手的行动,顾客品味的变化以及其他因素相关。

  这个问题在经济学教科书中被称为内生性问题,这对于数据驱动优化技术的研发者和用户来说都是一个巨大的挑战,而且即使看起来成功的案例也会受到该问题的挑战而显得其结果没那么可靠。

  TalkingData诚邀优秀人才加入,感兴趣同学请将简历投递至 TalkingData 首席数据科学家张夏天邮箱:xiatian.

  本文由 @TalkingData 授权发布于人人都是产品经理,未经作者许可,禁止转载。

  抢票 4月深圳创新大会,腾讯,淘宝,京东等16位创新探索者都来了,等你赴约

  人人都是产品经理(是以产品经理、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位服务产品人和运营人,成立8年举办在线+期,线+场,产品经理大会、运营大会20+场,覆盖北上广深杭成都等15个城市,在行业有较高的影响力和知名度。平台聚集了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一起成长。