Spark环境结合MDBF的星型连接算法

　　为了适应联机分析处理（ OLAP）系统中实时数据高性能分析需求不断提高的需求，提出一种能够适合Spark环境并结合多维Bloom Filter（ MDBF）的星型连接算法SMDBFSJ。首先，根据多个维表构建MDBF，利用其占用空间小的特点，广播到所有节点；然后，在本地节点完成事实表过滤操作，事实表不需要在节点间移动数据；最后，过滤后的事实表与维表采用重划分方式进行连接，进而得到最终结果。SMDBFSJ算法避免了事实表数据移动，通过MDBF减小了需要广播的数据量，充分结合了广播连接和重划分连接的优势。实验结果表明了该算法的有效性，在单机和集群环境下，该算法相比重划分连接均获得了3倍左右的性能提升。