大数据技术发展方向如何?

最新问答

• 永远的终结者

  1、在大采集与预处理方向

  
  

  这方向最常见的问题是的多源和多样性，导致的质量存在差异，严重影响到的可用性。针对这些问题，目前很多公司已经推出了多种清洗和质量控制工具(如IBM的Data Stage)。

  
  

  2、在大存储与管理方向

  
  

  这方向最常见的挑战是存储规模大，存储管理复杂，需要兼顾结构化、非结构化和半结构化的。分布式文件系统和分布式库相关技术的发展正在有效的解决这些方面的问题。在大存储和管理方向，尤其值得我们关注的是大索引和查询技术、实时及流式大存储与处理的发展。

  
  

  3、大计算模式方向

  
  

  由于大处理多样性的需求，目前出现了多种典型的计算模式，包括大查询分析计算(如Hive)、批处理计算(如Hadoop MapReduce)、流式计算(如Storm)、迭代计算(如HaLoop)、图计算(如Pregel)和内存计算(如Hana)，而这些计算模式的混合计算模式将成为满足多样性大处理和应用需求的有效手段。

  
  

  关于大技术发展方向如何，环球青藤小编就和您分享到这里了。如果您对大工程有浓厚的兴趣，希望这篇文章可以为您帮助。如果您还想了解更多关于分析师、大工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

  浏览 204赞 102时间 2023-04-10
• linximeng520

  2020高考志愿填报，大专业解读

  浏览 378赞 76时间 2022-03-03