首页| 行业标准| 论文文档| 电子资料| 图纸模型
购买积分 购买会员 激活码充值

您现在的位置是:团子下载站 > 其他 > 如何使用Spark进行并行FP-Growth算法优化及实现

如何使用Spark进行并行FP-Growth算法优化及实现

  • 资源大小:0.91 MB
  • 上传时间:2022-01-08
  • 下载次数:0次
  • 浏览次数:30次
  • 资源积分:1积分
  • 标      签: SPARK 数据集 算法

资 源 简 介

为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然后,通过创建列表P-List对数据集划分策略进行优化,减少遍历次数,降低时间复杂度。实验结果表明,BFPG算法提高了并行FP-Growth算法挖掘效率,且算法具有良好的扩展性。
VIP VIP