大数据分析,大数据开发,数据挖掘 所用到技术和工具？

最新问答

• liuyuecao110

  　　大分析是一个含义广泛的术语，是指集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该集通常是万亿或EB的大小。这些集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大分析产生的其他例子包括交易记录，网络日志，病历，事监控，和图像档案，及大型商务。
  

  　　大分析，他们对企业的影响有一个兴趣高涨。大分析是研究大量的的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
  

  一、Hadoop
  

  　　Hadoop是一个开源框架，它允许在整个集使用简单编程模型计算机的分布式环境存储并处理大。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以本地计算和存储。
  

  　　Hadoop 是一个能够对大量进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，即使计算元素和存储会失败，它维护多个工作副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级。此外，Hadoop 依赖于服务器，因此它的成本比较低，任何人都可以使用。

  　　Hadoop是轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量的应用程序。它主要有以下几个优点：
  

  　　1、高可靠性。Hadoop按位存储和处理的能力值得人们信赖。

  　　2、高扩展性。Hadoop是在可用的计算机集簇间分配并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

  　　3、高效性。Hadoop能够在节点之间动态地移动，并保证各个节点的动态平衡，因此处理速度非常快。

  　　4、高容错性。Hadoop能够自动保存的多个副本，并且能够自动将失败的任务重新分配。

  　　Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
  

  二、HPCC
  

  　　HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向提交了"重大挑战项目：高性能计算与通信"的报告，也就是被称为HPCC计划的报告，即美国科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

  　　该项目主要由五部分组成：

  　　1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

  　　2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

  　　3、科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

  　　4、基本研究与人类(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来必需的基础架构来支持这些调查和研究活动;

  　　5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。
  

  三、Storm

  　　Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

  　　Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的流，用于处理Hadoop的批量。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
  

  　　Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即抽取、转换和加载)等等。Storm的处理速度惊人：经测试，每个节点每秒钟可以处理100万个元组。Storm是可扩展、容错，很容易设置和作。
  

  四、Apache Drill
  

  　　为了帮助企业用户寻找更为有效、加快Hadoop查询的方法，Apache软件基金会近日发起了一项名为"Drill"的开源项目。Apache Drill 实现了Google’s Dremel。"Drill"已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

  　　该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop分析工具的互联网应用提速)。而"Drill"将有助于Hadoop用户实现更快查询海量集的目的。
  

  　　"Drill"项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量集的分析处理，包括分析抓取Web文档、安装在Android Market上的应用程序、分析邮件、分析谷歌分布式构建系统上的测试结果等等。
  

  　　通过开发"Drill"Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的源、格式和查询语言。
  

  五、RapidMiner
  

  　　RapidMiner机器学习程序。而挖掘，包括可视化，处理，统计建模和预测分析。
  

  　　RapidMiner是世界领先的挖掘解决方案，在一个非常大的程度上有着先进技术。它挖掘任务涉及范围广泛，包括各种艺术，能简化挖掘过程的设计和评价。

  　　功能和特点
  

  　　免费挖掘技术和库；100%用Java代(可运行在作系统)；挖掘过程简单，强大和直观；内部XML保证了标准化的格式来表示交换挖掘过程；可以用简单脚本语言自动进行大规模进程；多层次的视图，确保有效和透明的；图形用户界面的互动原型；命令行(批处理模式)自动大规模应用；Java API(应用编程接口)；简单的插件和推广机制；强大的可视化引擎，许多尖端的高维的可视化建模；400多个挖掘运营商支持；耶鲁已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，流挖掘，集成开发的方法和分布式挖掘。
  
  RapidMiner的局限性；RapidMiner 在行数方面存在大小；对于RapidMiner，您需要比ODM和SAS更多的硬件。
  

  六、Pentaho BI
  

  　　Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

  　　Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。
  

  　　Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例库、可运行的Pentaho平台、Pentaho解决方案示例和一个预先好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代的主体;Pentaho库为 Pentaho平台的正常运行的服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它库服务取代的;可运行的Pentaho平台是Pentaho平台的运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下运行;
  

  　　Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
  

  　　Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。
  

  七、Druid

  　　Druid是实时分析存储系统，Java语言中最好的库连接池。Druid能够强大的监控和扩展功能。

  八、Ambari
  

  　　大平台搭建、监控利器;类似的还有CDH

  　　1、Hadoop集

  　　Ambari为在任意数量的主机上安装Hadoop服务了一个逐步向导。

  　　Ambari处理集Hadoop服务的配置。

  　　2、管理Hadoop集

  　　Ambari为整个集启动、停止和重新配置Hadoop服务的中央管理。

  　　3、监视Hadoop集

  　　Ambari为监视Hadoop集的健康状况和状态了一个仪表板。

  九、Spark

  　　大规模处理框架(可以应付企业中常见的三种处理场景：复杂的批量处理(batch data processing);基于历史的交互式查询;基于实时流的处理，Ceph:Linux分布式文件系统。

  十、Tableau Public

  　　1、什么是Tableau Public - 大分析工具

  　　这是一个简单直观的工具。因为它通过可视化了有趣的见解。Tableau Public的百万行。因为它比分析市场中的大多数其他更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览，并交叉核对您的见解。
  

  　　2、Tableau Public的使用

  　　您可以免费将交互式可视化发布到Web;无需编程技能;发布到Tableau Public的可视化可以嵌入到博客中。此外，还可以通过邮件或社交媒体分享网页。共享的内容可以进行有效硫的。这使其成为最佳的大分析工具。
  

  　　3、Tableau Public的

  　　所有都是公开的，并且访问的范围很小;大小;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。
  

  十一、OpenRefine

  　　1、什么是OpenRefine - 分析工具

  　　以前称为GoogleRefine的清理软件。因为它可以帮助您清理以进行分析。它对一行进行作。此外，将列放在列下，与关系库表非常相似。
  

  　　2、OpenRefine的使用

  　　清理凌乱的;转换;从网站解析;通过从Web服务获取将到集。例如，OpenRefine可用于将地址地理编到地理坐标。
  

  　　3、OpenRefine的局限性

  　　Open Refine不适用于大型集;精炼对大不起作用
  

  十二、KNIME

  　　1、什么是KNIME - 分析工具

  　　KNIME通过可视化编程帮助您作，分析和建模。它用于集成各种组件，用于挖掘和机器学习。
  

  　　2、KNIME的用途

  　　不要写代块。相反，您必须在活动之间删除和拖动连接点;该分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学，文本挖掘，蛇，和[R 。
  

  　　3、KNIME的

  　　可视化不佳
  

  十三、Google Fusion Tables
  

  　　1、什么是Google Fusion Tables

  　　对于工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的分析，映射和大型集可视化工具。此外，Google Fusion Tables可以到业务分析工具列表中。这也是最好的大分析工具之一，大分析十八般工具。
  

  　　2、使用Google Fusion Tables

  　　在线可视化更大的表格;跨越数十万行进行过滤和总结;将表与Web上的其他组合在一起；您可以合并两个或三个表以生成包含集的单个可视化;
  

  　　3、Google Fusion Tables的

  　　表中只有前100,000行包含在查询结果中或已映射;在一次API调用中发送的总大小不能超过1MB。
  

  十四、NodeXL

  　　1、什么是NodeXL

  　　它是关系和网络的可视化和分析软件。NodeXL精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络导入程序和自动化。
  

  　　2、NodeXL的用途

  　　这是Excel中的一种分析工具，可帮助实现以下方面：

  　　导入;图形可视化;图形分析;表示;该软件集成到Microsoft Excel 2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek .net，UCINet .dl，GraphML和边缘列表。
  

  　　3、NodeXL的局限性

  　　您需要为特定问题使用多个术语;在稍微不同的时间运行提取。
  

  十五、Wolfram Alpha

  　　1、什么是Wolfram Alpha

  　　它是Stephen Wolfram创建的计算知识引擎或应答引擎。
  

  　　2、Wolfram Alpha的使用

  　　是Apple的Siri的附加组件;技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。
  

  　　3、Wolfram Alpha的局限性

  　　Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它了每个查询的计算时间;这些分析统计工具有何疑问?
  

  十六、Google搜索运营商

  　　1、什么是Google搜索运营商

  　　它是一种强大的，可帮助您过滤Google结果。这立即得到最相关和有用的信息。
  

  　　2、Google搜索运算符的使用

  　　更快速地过滤Google搜索结果;Google强大的分析工具可以帮助发现新信息。
  

  十七、Excel解算器

  　　1、什么是Excel解算器

  　　Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。
  

  　　2、求解器的使用

  　　Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。
  

  　　3、求解器的局限性

  　　不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;
  

  十八、Dataiku DSS

  　　1、什么是Dataiku DSS

  　　这是一个协作科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地自己的产品。
  

  　　2、Dataiku DSS的使用

  　　Dataiku DSS - 分析工具交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。
  

  　　3、Dataiku DSS的局限性

  　　有限的可视化功能;UI障碍：重新加载代/集;无法轻松地将整个代编译到单个文档/笔记本中;仍然需要与SPARK集成
  

  　　以上的工具只是大分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：
  

  　　1、前端展现

  　　用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

  　　用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。

  　　国内的有BDP，国云(大分析魔镜)，思迈特，FineBI等等。
  

  　　2、仓库

  　　有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
  

  　　3、集市

  　　有QlikView、 Tableau 、Style Intelligence等等。
  
  

  当然学大分析也有很多坑：

  《转行大分析师后悔了》、《零基础学大分析现实吗》、《大分析培训好就业吗》、《转行大分析必知技能》

  浏览 176赞 93时间 2022-09-07
• 小龙女kelly

  大不仅体现在数量上的庞大，还有涉及到的维度比较广泛，能够从海量的中提取出最有效的信息，谁能够更好的利用大分析就能够在竞争中处于更加有利的位置，那么大分析都包含了哪些技术呢？
  第一、对于任何的分析来说，首要的就是采集，一些移动客户端中的进行快速而又广泛的搜集，同时它还能够迅速的将一些其他的平台中的源中的导入到该工具中，对进行清洗、转换、集成等，从而形成在该工具的库中或者是集市当中，为联系分析处理和挖掘了基础。
  第二、在采集之后，大分析的另一个技术存取将会继续发挥作用，方便用户在使用中储存原始性的，再有就是基础性的架构，比如说运储存和分布式的文件储存等，都是比较常见的一种。
  第三、处理可以说是该软件具有的最核心的技术之一，面对庞大而又复杂的，运用一些计算方法或者是统计的方法等对进行处理，包括对它的统计、归纳、分类等，从而能够让用户深度的了解到所具有的深度价值。
  第四、统计分析可以帮助用户分析出现某一种现象的原因是什么，差异分析则可以比较出企业的产品销在不同的时间和地区中所显示出来的巨大差异，以便未来更合理的在时间和地域中进行布局。
  第五、某一种现象和另外一种现象之间存在怎样的关系，此外，聚类分析以及主成分分析和对应分析等都是常用的技术，这些技术的运用会让开发更接近人们的应用目标。
  以前大分析会用到各种工具，比如数仓工具、建模工具、挖掘工具等等。现在亿信ABI 融合了源适配、ETL处理、建模、分析、采集、工作流、门户、移动应用等核心功能，一个平台搞定所有功能。

  浏览 402赞 66时间 2022-05-14