您现在的位置是: > 网贷新闻 > 盘点:你应该知道的18个大数据工具

盘点:你应该知道的18个大数据工具

时间:2017-06-25 11:11  来源:网贷全搜索  阅读次数: 复制分享 我要评论

  (中国电子商务研究中心讯)在当今的数字革命海潮中,大数据成为公司企业说明客户举动和提供本性化定制处事的有力器材,大数据切切实实地辅佐这些公司举办交错贩卖,进步客户体验,并带来更多的利润。

  跟着大数据市场的稳步成长,越来越多的公司开始陈设大数据驱动计谋。

  Apache Hadoop是今朝最成熟的大数据说明器材,可是市场上也不乏其他优越的大数据器材。今朝市场上稀有千种器材可以或许帮你节省时刻和本钱,带你从全新的角度洞察你地址的行业。

  以下先容18种成果适用的大数据器材:

  Avro:由Doug Cutting公司研发,可用于编码Hadoop文件模式的数据序列化。

  Cassandra:一种漫衍式的开源数据库。可用于处理赏罚商品处事器在提供高可用性处事时发生的大量漫衍式数据。这是一种非相关型数据库(NoSQL)办理方案,最初由Facebook主导研发。

  今朝许多公司组织都在行使这一数据库,如Netflix,Cisco,Twitter。

  Drill:一种开源漫衍式体系,用于大局限数据集的交互说明。Drill与谷歌的Dremel体系相同,由Apache公司打点运行。

  Elasticsearch:Apache Lucene开拓的开源搜刮引擎。Elasticsearch是基于Java的体系,可以实现高速搜刮,支持你的数据搜刮事变。

  Flume:行使收集处事器、应用处事器和移动处事器的数据来添补Hadoop的大数据应用框架,是数据源和Hadoop之间的一种毗连纽带。

  HCatalog:是针对Apache Hadoop的齐集元数据打点和分享处事。可以通过它齐集查察Hadoop集群中的全部数据,并可以在不知道数据在集群中存储位置的环境下,通过Pig和Hive等多种器材处理赏罚全部数据元素。

  Impala:行使与Apache Hive沟通的元数据,SQL语法(Hive SQL),ODBC驱动措施和用户界面(HueBeeswax),直接辅佐您对存储在HDFS或HBase中的Apache Hadoop数据举办快速的交互式SQL查询。

  它为批量导向或及时查询提供了一个利便操纵的同一平台。

  JSON:本日的很多非相关型数据库(NoSQL)都以JSON(JavaScript工具标记)名目存储数据,这些名目在Web开拓职员中很受接待。

  Kafka:这是种漫衍式“宣布——订阅”的动静传送体系,它可以或许提供一种办理方案,辅佐处理赏罚全部数据流勾当,并在斲丧者网站上处理赏罚这些数据。

  这种范例的数据(包罗页面查察数据,搜刮数据和其他用户操纵数据)是当前交际收集的要害构成部门。

  MongoDB:是一个在开源观念指导下开拓出来的面向文档的非相关型数据库(NoSQL)。它具有完备的索引支持,同时可以机动地对任何属性举办索引,并在不影响成果的环境下举办横向扩容。

  Neo4j:是一个图形数据库,与相关数据库对比,机能晋升高达1000多倍或更高。

  Oozie:一种事变流程处理赏罚体系,可以让用户自界说差异说话编写的一系列事变,如Map Reduce,Pig和Hive。它还可以实现差异事变项目之间的智能毗连,Oozie还支持用户指定依靠相关。

  Pig:是由雅虎开拓的基于Hadoop的一种说话,对付用户来说,进修起来相对简朴,且Pig擅优点理很是深入且很是长的数据管道(data pipeline)。

  Storm:是一种免费的举办及时漫衍式计较的开源体系。通过Storm,用户可以很是轻松的在可以或许举办及时处理赏罚操纵的范畴内,对非布局化数据流举办靠得住处理赏罚。

  体系具有容错特征,支持险些全部编程说话,虽然最常用的说话照旧Java。Storm最初是Apache家属的一个分支,此刻已被Twitter收购。

  Tableau:是一种首要存眷贸易智能的数据可视化器材。用户无需编程,网贷,就可以操作Tableau建设舆图,条形图,散点图等可视化图像。

  他们最近宣布了一个Web毗连器,应承用户直接毗连数据库或应用措施界面(API),从而行使户可以或许在举办可视化项目时获取及时数据。

  ZooKeeper:为大型漫衍式体系提供齐集设置和开放代码名称注册的处事。

  天天大数据技能规模城市涌现出大量新的大数据相干器材,要想学会行使每个器材长短常坚苦且没故意义的。挑选几个你可以或许纯熟行使的器材,并不绝进修技能常识,步崆最好的方法。(来历: 199it;文/Deeplearner H;编选:中国电子商务研究中心)

相关资讯