【一个话题】大数据产品研发现状多企业在中会遇到一个问题

今天我们来聊一个话题。自主研发的数据产品已经迭代了一年多。为什么不购买第三方商业数据平台产品？

一、大数据产品研发现状

很多企业在大数据建设中都会遇到问题。经过一年多的产研迭代，已经做出了一些数据产品。大数据团队将结合市场上的工具和业务的需求进行建设。经过一段时间后，可以满足企业自身业务发展的数据需求。

随着公司随着时间的推移发展，往往会受到组织架构、细分、团队工作重叠和重复工作等变化，或者资源调用的影响。企业大数据产品受制于数据产品团队的长期迭代。技术能力和大数据能力（如前端资源、后端资源、服务器资源）的影响在数据产品的衰落中越来越慢。

随着时间的推移，数据平台中的某些功能会越来越缺乏。这时，我在盘点中发现，投入了那么多人力物力，为什么这些平台业务什么都不需要（更不用说业务需求是否合理）。这时候大家开始议论要不要外购了。

二、外部数据产品对比

近年来，有一些专业的大数据工具平台公司开发了自己的数据平台工具，如元数据工具、报表工具、APP日志分析工具等。

这些工具会更专业、更通用，但缺点也会明显不足，无法满足部分企业的业务。

比如第三方BI功能非常全面完善，图表库丰富，展示非常漂亮。有些特殊权限很难与公司的组织架构相匹配，有些业务链条很长，但只购买了日志分析工具。在某些场景下，比如流量数据和交易数据的交叉分析大数据分析行业现状，这些第三方工具会出现偏差。

例如，需要构建大量的中间层来进行业务的精细化交叉分析。有些工具虽然支持数据导入功能，但使用起来比较困难。

对于自研数据产品的数据产品，缺点是数据仪表盘功能、报表功能、UI审美功能和图标丰富度比第三方差。在资源短缺的情况下，报表中的线路转移列表可能是可能的。网格功能要排到几个Q之后，业务团队经常抱怨这个功能差，那个功能有bug。优点是符合企业的个性化需求。

三、自研购买的投资回报率

一个第三方数据产品平台只有几十万，一个公司需要支持的人数可能每年要花费几百万。这个时候，是不是还要继续自研呢？还是买第三方？

本质上，这是自研与采购的冲突。这是决策时需要考虑的事情。决策点是短期、中期和长期投资回报率的比较。

在企业规模方面：

这需要从实施的短期、中期和长期投资回报率来判断。

四、为第三方实现一些潜在的可能性

引入新系统会导致整个系统在一段时间内变得复杂（例如自研系统A和采购系统B会并存，对团队和系统层面都不利）。中短期（1-3个月是比较痛苦的工作），中期优势明显。长期存在个性化功能定制问题，很有可能需要二次开发。

一般短期内（3Q以内），自研成本大于采购和实施成本：数据团队需做好内研计划的拿出到了一定阶段，只能用人工成本的投入来建设和替代。程序。

中长期（12个月以上），由于业务的快速发展，对数据的需求也会发生变化。数据采集​​和数据中间层的需求是需要快速实现来支撑业务的需求。三方平台的半封闭性和自身的存储格式导致中间层的扩展跟不上业务需求的节奏大数据分析行业现状，久而久之就会爆发冲突。需要有相应的计划来跟上。

五、建立数据产品的一些优势

数据产品和技术是否对第三方平台在业务的支持和实施上建立了壁垒，当然，内容建设上的壁垒优势会大于工具功能优势。

互联网公司在大数据建设中普遍走短、平、快的方式，甚至将业务系统的表整合到数据仓库中，很少根据需要做设计或简单的整合，只是广泛导出提供表格或汇总数据供业务使用。

互联网行业的公司很少发布对行业有沉淀的数据模型。我知道这些年在大数据领域，只有阿里巴巴在去年发布了电商交易的标准数据模型。

数据中心的建设，可以说互联网企业数据中心要想在数字化转型中进入不同的领域，就需要积累大量的行业模式，进入一些行业的数据整合与繁重的业务，否则很难产生大量的产出。漂亮的数据模型导航图。比如现在数据治理很重要，但是实施起来有点勉强。数据治理很重要，但是很多东西有点倒退。