市场价格监管系统如何在BI里实现

国内汽油产销量非常平稳，近几年保持了稳健的走势。柴油随着经济增长放缓，工业投资水平下降，三大产业结构性调整，以往以柴油为驱动力的第二产业逐渐被第三产业取代，在很大程度上影响着柴油消费量的下滑。此外，环保问题日益严峻，沿海地区部分重污染行业关停，或者采用液化气、天然气等更加清洁能源，替代柴油消费，从而柴油的消费水平也随之下降。2016年全年国内柴油表观消费量为1.65亿吨，同比下降5%；柴油产量为1.79亿吨，同比下降0.5%，柴油的产销量出现了首次负增长。

从目前来看，虽然地炼产量与国企差距较大，但其总炼油能力很大，约占我国炼油能力的25%。地方炼厂由于长期受到原料资源限制无法提高加工负荷，随着原油进口的逐步放开，原油资源得到保障，加工负荷将逐渐提高，其产量会有一个质的改变，成品油供大于求的局面将进一步加剧。

在面对的复杂的市场竞争环境、多元化的竞争主体时，通过市场价格监控分析来优化价格管理决策，从而在激烈的竞争环境中能脱颖而出，即时反应，赢得先机。

在数聚股份看来，从“数据采集”、“决策展示”、“经营模拟”等数字化运营需求出发，通过 PC 端进行数据展示，实现分析和决策辅助支持管理。以公司和竞争对手数据的分析为支撑，加强决策过程、决策模拟的管理。 系统本着以数据支撑决策，通过“互联网+”的运营模式，实现企业价格管理的速决速胜。

1. 利用移动端技术来实现数据采集的自动化

数据采集使用移动端采集方式，便于用户在任何场景下进行数据录入，特别是方便数据采集人员进行现场取证。

现场取证是保证数据采集客观、准确、及时的非常重要一环，以人作为数据情报收集的确认点难免会遇到误报、错报、漏报的情况，即使有互联网的数据进行对比验证，仍然难以保证信息的准确。所以系统提供现场取证功能，允许信息收集人员可以将所拍摄的价格照片存储到系统之后，系统后台会自动化的使用成熟OCR技术或开源的OPENCV技术来提取价格照片进行解析，与用户录入的价格信息进行对比，为各地市的稽查小组提供稽查范围，从而提高数据采集的质量。

采集竞争对手的情报首先要考虑的是可行性，可行性包括两个方面：是否存在收集情报的渠道、收集情报的渠道成本。利用大型连锁企业的“前线”，比如加油站、网点等，获取竞争对手的情报是常见的收集手段。

在成品油零售行业中数据采集的对象主要包括汽油、柴油、润滑油三类油品。如果对所有竞争对手，收集所有油品的量、价、促销和服务信息，即使每周一次，在全省加油站推广实施也需要耗费巨大的人工成本，所以在系统设计时，充分考虑了情报采集的渠道成本问题，在竞争对手的选取、油品的范围、属性信息上都是有所取舍。同时，系统根据每个加油站的经营范围，自动生成数据采集配置表，有针对性的界定每个站点要收集的信息内容，把“前线”数据采集工作缩减到最精简。

为提高数据质量，保证数据采集的准确性和一致性，采集端的数据均使用下拉菜单方式设计，可选择内容均为省中心、地市公司维护的主数据。

要管理好大规模的商业情报数据采集工作，必须形成一套有效的考核措施，系统通过分析采集人员的操作以及填报的数据，为省中心和地市公司提供数据采集质量的考核报表，便于督导各站保证数据采集的质量。

2. 通过互联网数据抓取来丰富本地数据的分析

通过自动化爬取互联网数据的方式，对金联创、油客网等信息渠道进行外部数据获取，并进行自动化的处理，通过移动端向各站传递经过处理加工的信息，辅助加油站站长进行数据采集，帮助各地市督导采集的数据质量。

外部数据的获取主要有两种手段，即购买和爬取。购买可以获得相对稳定、质量较好的数据信息，但也存在数据购买成本高、数据平台有经营风险、数据内容造假、可分析范围狭窄等弊端；数据爬取技术发展到今天，已经有很多成熟的工具，但本质上讲，还是利用算法来替代人访问网页提取信息的过程，对于有经济价值的商情信息，我们通常都需要花费较小费用来获取授权，获取授权的方式主要以注册用户为主，然后使用爬取工具定义规则就可以获取外部数据，这时获取的外部数据还无法使用，必须根据对进行清洗和加工，最终形成可以与内部数据相关联的有分析价值的信息。

优秀的采集工具应具备以下特点：采集实时性强，效率高；支持采集流程；支持定时自动采集；信息提取准确；支持图文识别；兼容性强、操作简单、稳定、安全等功能特征。

“信息提取准确”是采集系统成败的关键，系统必须具有自动辨别信息发布时间、发布来源等信息，并据此进行抓取信息的排列和分类，能准确提取网页中的标题、正文、发表时间、来源等信息项，对重复文章进行排重，并对具有分页的网页内容进行自动合并。

高德、百度等地图信息工具上也提供加油站油价信息，可以通过开发的API接口获取，但因为并非是专业的网站，往往存在信息更新不及时的问题，无法保证数据质量。

3. 丰富的可视化手段为用户提供高效的数据视图

基于成熟的商业智能框架平台，通过地图和可视化组件相结合，为用户提供可灵活定制的高效的数据视图。用户可通过简单选择操作，获取内容丰富数据可视化效果，从而提升科学决策的质量和效率。

4. 提供竞争对手全方位信息来高效支持价格管理决策

通过对竞争对手数据采集、加工和展示，为用户提供竞争对手全方位的信息视图，比如量价的态势、促销和服务开展等，实现“在一个点看全方位”的应用效果。

审核编辑 黄宇