值得重视的12大开源大数据剖析运用软件

来源:江南体育全站app官网登录 发布时间:2023-07-17 19:07:52 阅读: 1

  关于许多大企业来说,开源大数据剖析现已成为日常事务中一个必不可少的组成部分。据New Vantage Partners公司对《财富》1000强公司的高层主管展开的查询显现,现在62.5%的企业在出产环境中至少运转一种大数据东西或运用软件。这比2013年给出相同回复的企业数量高出近一倍,只要5.4%的受访企业没有大数据方案。

  说到大数据剖析,开源软件是常态,而不是异数。许多企业运用的一些抢先东西由Apache基金会办理,许多商业东西至少一部分根据这些开源解决方案。

  咱们在本文中介绍了市面上12款顶尖的开源数据剖析解决方案,其间一些为大数据剖析供给了全面的端到端渠道,另一些要与其他技能结合起来。它们都合适大企业运用,都是市面上抢先的数据剖析东西。

  谈到开源数据剖析技能,就不或许不说到Hadoop。Apache基金会的这个项目现已简直成为大数据的近义词,它让企业可以大规模分布式处理极端巨大的数据集。TDWI和SAS联合展开的一项查询发现,近60%的企业估计在2016年年末之前会在出产环境中具有Hadoop集群。

  但是值得一提的是,Hadoop自身无法完成数据剖析。它通常是从大数据获取洞察力的整个更巨大解决方案的一部分。

  Spark也是Apache旗下的一个项目,它许诺可以敏捷处理大数据。实践上,它宣称“在内存中运转程序的速度比Hadoop MapReduce快100倍,在磁盘上运转程度的速度快10倍”。

  因为这种超卓功用,它常常用于剖析流式数据或用于需求交互式剖析功用的运用软件中。许多公司常常把它与Hadoop或Mesos一同运用,不过它也能独立运转。最近,它的人气得到了急剧提高,Syncsort在2016年展开的一项查询发现,受访的企业大数据作业人员中近70%对Spark有爱好。

  不像前面两个项目,Talend由一家盈利公司办理,而不是由基金会办理。因此,供给收费付出服务。Talend既供给免费产品,又供给收费产品。它免费的开源解决方案名为Talend Open Studio,下载量已超过了200万人次。

  商场研讨公司Gartner最近将Talend评为数据集成范畴的“领导者”。这家公司宣称,比较与之竞赛的解决方案,它协助企业剖析大数据的速度快五倍,而本钱却只要五分之一。

  与Talend相同,Jaspersoft也有多个版别,有的版别免费,有的版别收费。社区版是免费、开源的,而Reporting版、AWS版、专业版和企业版需求收费,不过随带支撑服务。

  Jaspersoft是一款开源商业智能东西,旨在让企业用户可以凭借自助服务,满意自己的要求。该公司宣称,它的技能支撑130000多款运用软件,供给嵌入式商业智能功用。

  Pentaho自诩为“全面的数据集成和商业智能渠道。”该公司首要大力推销它的商业版软件,该软件根据开源社区版。

  许多公司将它与Hadoop和Spark之类的东西一同运用,以便可以陈述和显现大数据。该软件宣称具有一大批的闻名客户,包含英国电信(BT)、卡特皮勒、纳斯达克、美国疆土安全部、美国国家海洋和大气局(NOAA)、《》、EMC及其他许多企业安排。

  RapidMiner宣称是“头号开源数据科学渠道”,Gartner将它评为高档剖析法力象限陈述中的领导者。它可以完成自助式猜测剖析,许诺有望提高速度飞快的功用。

  用户包含宝马、汉莎航空、达美乐比萨公司、索尼、福特、Salesforce、安排和通用电气公司。整个RadiMiner渠道包含三个独立的组件:RapidMiner Studio、RapidMiner Server和RapidMiner Radoop。这三个组件都选用开源许可证或商业许可证,商业版价格取决于用户数量。

  它的官方网站解说:“Storm让用户很简单可靠地处理无限制的数据流,它在实时处理方面的功用比如Hadoop在批处理方面的功用。”客户可以将它与任何数据库或任何编程言语一同运用。它具有可扩展、容错、易于部分运用的长处。但是用户要注意的是,Storm还没有进入到1.0版别这个阶段。

  H2O被60000多个数据科学家和7000多家企业安排所运用,宣称是“世界上抢先的开源机器学习渠道。”因为它的内存技能,它供给了极端超卓的功用。它还与Hadoop和Spark之类的其他许多开源数据剖析东西整合起来,支撑一切首要的盛行数据库,供给收费的支撑服务。

  除了标准版的H2O外,该公司还供给Sparkling Water,这个版别整合了Spark和Steam,后者是一种端到端人工智能运用引擎。

  Lumify由一家名为Altamira 科技的公司开发,自称是“开源大数据剖析和可视化渠道”。

  它让用户易于创立二维或三维图形,可显现实体之间的联系,或在地图上掩盖数据。关于有爱好深化了解它的作业原理的那些人来说,官方网站供给了几个视频,显现了Lumify的实践运转,上面还有一个演示网站,让用户可以上传自己的数据,并试用软件。

  Apache Drill让用户得以运用SQL查询用于非联系型数据存储系统。它支撑一系列NoSQL和根据云的数据存储系统。

  Apache Drill包含HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。它还让用户可以运用单一查询,即可查找用不同技能存储起来的多个数据集。此外,它支撑许多盛行的商业智能东西。

  作为最闻名的NoSQL数据库之一,MongoDB是一种开源非联系型数据存储解决方案。客户包含大都会人寿(MetLife)、芝加哥市、Expedia、谷歌、气候频道、BuzzFeed和Facebook。

  除了免费开源版外,该公司还供给一款收费的企业版和云保管的版别MongoDB Atlas。闻名商场研讨机构弗雷斯特研讨公司将MongoDB评为大数据NoSQL范畴的“领导者”。

  该软件完全免费,但还供给收费的用户支撑、保护、咨询和训练等服务。它包含了用于陈述、多维剖析(OLAP)、图表、方位情报、数据发掘、ETL(抽取转化和加载)及更多其他方面的东西。它还与盛行的内存处理引擎整合起来,可以完成实时处理。