1，大数据中高效运算和低耗能存储依赖以下哪些技术2，怎样存储大数据3，hadoop是怎么存储大数据的4，大数据时代数据应该如何存储5，大数据存储需要具备什么1，大数据中高效运算和低耗能存储依赖以下哪些技术
主要由以下三点作用：第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。-
2，怎样存储大数据
用一块2tb硬盘存储大量文件、数据。可以有两种方式，一种是分表，另一种是分区 首先是分表，就像你自己所说的，可以按月分表，可以按用户id分表等等，至于采用哪种方式分表，要看你的业务逻辑了，分表不好的地方就是查询有时候需要跨多个表。 然后是分区，分区可以将表分离在若干不同的表空间上，用分而治之的方法来支撑无限膨胀的大表，给大表在物理一级的可管理性。将大表分割成较小的分区可以改善表的维护、备份、恢复、事务及查询性能。分区的好处是分区的优点： 1 增强可用性：如果表的一个分区由于系统故障而不能使用，表的其余好的分区仍然可以使用； 2 减少关闭时间：如果系统故障只影响表的一部分分区，那么只有这部分分区需要修复，故能比整个大表修复花的时间更少； 3 维护轻松：如果需要重建表，独立管理每个分区比管理单个大表要轻松得多； 4 均衡i/o:可以把表的不同分区分配到不同的磁盘来平衡i/o改善性能； 5 改善性能：对大表的查询、增加、修改等操作可以分解到表的不同分区来并行执行，可使运行速度更快； 6 分区对用户透明，最终用户感觉不到分区的存在。
3，hadoop是怎么存储大数据的
hadoop本身是分布式框架，如果在hadoop框架下，需要配合hbase，hive等工具来进行大数据计算。如果具体深入还要了解hdfs，map/reduce，任务机制等等。如果要分析还要考虑其他分析展现工具。大数据还有分析才有价值用于分析大数据的工具主要有开源与商用两个生态圈。开源大数据生态圈：1、hadoop hdfs、hadoopmapreduce, hbase、hive 渐次诞生，早期hadoop生态圈逐步形成。2、. hypertable是另类。它存在于hadoop生态圈之外，但也曾经有一些用户。3、nosql，membase、mongodb商用大数据生态圈：1、一体机数据库/数据仓库：ibm puredata(netezza), oracleexadata, sap hana等等。2、数据仓库：teradataasterdata, emc greenplum, hpvertica 等等。3、数据集市：qlikview、 tableau 、 以及国内的yonghong data mart 。存放到hdfs 一般都是要分析的数据。分析完成的数据直接存储到mysql 或者oracle 中。这种处理方式是离线处理。如日志文件存储到hdfs 分析出网站的流量 uv pv 等等。一般都是用pig hive 和mr 等进行分析的。 存放到hbase 一般都是数据拿过来直接用的。而且他是实时的。也就是说数据就是成型的而且不需要进行分析就能得到结果的数据。 大致就是这么个意思。有点啰嗦了。
4，大数据时代数据应该如何存储
pb或多pb级基础设施与传统大规模数据集之间的差别简直就像白天和黑夜的差别，就像在笔记本电脑上处理数据和在raid阵列上处理数据之间的差别。当day在2009年加入shutterfly时，存储已经成为该公司最大的开支，并且以飞快的速度增长。每n个pb的额外存储意味着我们需要另一个存储管理员来支持物理和逻辑基础设施，day表示，面对大规模数据存储，系统会更频繁地出问题，任何管理超大存储的人经常都要处理硬件故障。大家都在试图解决的根本问题是：当你知道存储的一部分将在一段时间内出现问题，你应该如何确保数据可用性，同时确保不会降低性能？raid问题解决故障的标准答案是复制，通常以raid阵列的形式。但day表示，面对庞大规模的数据时，raid解决问题的同时可能会制造更多问题。在传统raid数据存储方案中，每个数据的副本都被镜像和存储在阵列的不同磁盘中，以确保完整性和可用性。但这意味着每个被镜像和存储的数据将需要其本身五倍以上的存储空间。随着raid阵列中使用的磁盘越来越大（从密度和功耗的角度来看，3tb磁盘非常具有吸引力），更换故障驱动器的时间也将变得越来越长。实际上，我们使用raid并不存在任何操作问题，day表示，我们看到的是，随着磁盘变得越来越大，当任何组件发生故障时，我们回到一个完全冗余的系统的时间增加。生成校验是与数据集的大小成正比的。当我们开始使用1tb和2tb的磁盘时，回到完全冗余系统的时间变得很长。可以说，这种趋势并没有朝着正确的方向发展。对于shutterfly而言，可靠性和可用性是非常关键的因素，这也是企业级存储的要求。day表示，其快速膨胀的存储成本使商品系统变得更具吸引力。当day及其团队在研究潜在技术解决方案以帮助控制存储成本时，他们对于一项叫做纠删码（erasure code）的技术非常感兴趣。采用擦除代码技术的下一代存储里德-所罗门纠删码最初作为前向纠错码（forward error correction, fec）用于不可靠通道的数据传输，例如外层空间探测的数据传输。这项技术还被用于cd和dvd来处理光盘上的故障，例如灰尘和划痕。一些存储供应商已经开始将纠删码纳入他们的解决方案中。使用纠删码，数据可以被分解成几块，单块分解数据是无用的，然后它们被分散到不同磁盘驱动器或者服务器。在任何使用，这些数据都可以完全重组，即使有些数据块因为磁盘故障已经丢失。换句话说，你不需要创建多个数据副本，单个数据就可以确保数据的完整性和可用性。基于纠删码的解决方案的早期供应商之一是cleversafe公司，他们添加了位置信息来创建其所谓的分散编码，让用户可以在不同位置（例如多个数据中心）存储数据块或者说数据片。每个数据块就其自身而言是无用的，这样能够确保隐私性和安全性。因为信息分散技术使用单一数据来确保数据完整性和可用性，而不是像raid一样使用多个副本，公司可以节省多达90%的存储成本。当你将试图重组数据时，你并不一定需要提供所有数据块，cleversafe公司产品策略、市场营销和客户解决方案副总裁russ kennedy表示，你生成的数据块的数量，我们称之为宽度，我们将重组数据需要的最低数量称之为门槛。你生成的数据块的数量和重组需要的数量之间的差异决定了其可靠性。同时，即使你丢失节点和驱动器，你仍然能够得到原来形式的数据。
5，大数据存储需要具备什么
大数据之大大是相对而言的概念。例如，对于像saphana那样的内存数据库来说，2tb可能就已经是大容量了；而对于像谷歌这样的搜索引擎，eb的数据量才能称得上是大数据。大也是一个迅速变化的概念。hds在2004年发布的usp存储虚拟化平台具备管理32pb内外部附加存储的能力。当时，大多数人认为，usp的存储容量大得有些离谱。但是现在，大多数企业都已经拥有pb级的数据量，一些搜索引擎公司的数据存储量甚至达到了eb级。由于许多家庭都保存了tb级的数据量，一些云计算公司正在推广其文件共享或家庭数据备份服务。有容乃大由此看来，大数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于pb级时代，而eb级时代即将到来。过去，许多企业通常以五年作为it系统规划的一个周期。在这五年中，企业的存储容量可能会增加一倍。现在，企业则需要制定存储数据量级（比如从pb级到eb级）的增长计划，只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储，用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时，自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下，用户可以轻松实现容量回收和容量利用率的最大化，并延长现有存储系统的寿命，显著提高it系统的灵活性和效率，以满足非结构化数据增长的需求。中型企业可以在不影响性能的情况下将hus的容量扩展到近3pb，并可通过动态虚拟控制器实现系统的快速预配置。此外，通过hdsvsp的虚拟化功能，大型企业可以创建0.25eb容量的存储池。随着非结构化数据的快速增长，未来，文件与内容数据又该如何进行扩展呢？不断生长的大数据与结构化数据不同，很多非结构化数据需要通过互联网协议来访问，并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到tb级，现在则需要扩展到pb级，而未来将扩展到eb级。这些非结构化的数据必须以文件或对象的形式来访问。基于unix和linux的