大数据技术的发展方向如何?

最新问答

• angela颖宝贝

  1、在大采集与预处理方向

  
  
  

  这方向最常见的问题是的多源和多样性，导致的质量存在差异，严重影响到的可用性。针对这些问题，目前很多公司已经推出了多种清洗和质量控制工具(如IBM的Data Stage)。

  
  
  

  2、在大存储与管理方向

  
  
  

  这方向最常见的挑战是存储规模大，存储管理复杂，需要兼顾结构化、非结构化和半结构化的。分布式文件系统和分布式库相关技术的发展正在有效的解决这些方面的问题。在大存储和管理方向，尤其值得我们关注的是大索引和查询技术、实时及流式大存储与处理的发展。

  
  
  

  3、大计算模式方向

  
  
  

  由于大处理多样性的需求，目前出现了多种典型的计算模式，包括大查询分析计算(如Hive)、批处理计算(如Hadoop MapReduce)、流式计算(如Storm)、迭代计算(如HaLoop)、图计算(如Pregel)和内存计算(如Hana)，而这些计算模式的混合计算模式将成为满足多样性大处理和应用需求的有效手段。

  
  
  

  4、大分析与挖掘方向

  
  
  

  在量迅速膨胀的同时，还要进行深度的深度分析和挖掘，并且对自动化分析要求越来越高，越来越多的大分析工具和产品应运而生，如用于大挖掘的R Hadoop版、基于MapReduce开发的挖掘算法等。

  
  
  

  5、大可视化分析方向

  
  
  

  通过可视化方式来帮助人们探索和解释复杂的，有利于决策者挖掘的商业价值，进而有助于大的发展。很多公司也在开展相应的研究，试图把可视化引入其不同的分析和展示的产品中，各种可能相关的商品也将会不断出现。可视化工具Tabealu的成功上市反映了大可视化的需求。

  
  
  

  关于大技术的发展方向如何，青藤小编就和您分享到这里了。如果您对大工程有浓厚的兴趣，希望这篇文章可以为您帮助。如果您还想了解更多关于分析师、大工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

  浏览 491赞 152时间 2023-01-07
• 吃买吃买吃买

  2020高考志愿填报，大专业解读

  浏览 478赞 121时间 2022-06-14