技术改变世界 阅读塑造人生! - shaogx.com

This string was altered by TechBlog\Plugins\Example.; This is an example to show the potential of an offcanvas layout pattern in Bootstrap. Try some responsive-range viewport sizes to see it in action.

华为UDS海量存储系统开创EB级存储未来

海量存储环境下传统IT系统面临的挑战... 全文

华为 UDS 存储系统

海量存储场景下存储系统的挑战与应对

海量存储场景下传统IT系统面临的挑战... 全文

存储 海量存储 华为 UDS

HVS系列企业级存储系统解读

2012年,注定是企业级存储系统不平凡的一年。5月,EMC发布了VMAX40K,最大容量超越了业界最高规格。9月,VMAX40K被HVS88T超越,企业级存储系统的容量再次被刷新。当然,被刷新的不只是容量,本文将为你深度解读来自华为的巨无霸存储新品。... 全文

存储系统 华为

CSI

前言         如果别人问我,从开发人员的角度来讲,操作系统的哪部分内容是最为重要的,那么,我会毫不犹豫的说:虚拟存储器。可能从开始接触计算机系统到现在,我们对于虚拟存储器的概念和原理都还半知半解。甚至很多人,错误的以为理解虚拟存储器并不能给开发工作带来直接的好处,所以干脆放弃去了解虚拟存储器到底是什么样的,是如何贯穿整个系统层面。事实上,了解虚拟存储器如何工作是理解整个系统如何工作的关键一步,同时,这对于我们理解常见的与存储器有关的错误有一定的帮助。         虚拟存储器是一个抽象的概念,并不是一个实体硬件,简单的来说,它是由磁盘和内存所构成的存储机制。虚拟存储器是硬件异常、硬件地址翻译、主存、磁盘文件和内核软件的完美交互,它为每个进程提供一个大的、一致的私有地址空间。通过一个清晰的机制,虚拟存储器提供三个重要的能力:... 全文

虚拟存储系统 操作系统 虚拟存储器 页表 地址翻译

FreeNAS存储系统部署(二)

    在上一篇“FreeNAS存储系统部署(一)”(http://guoxuemin.blog.51cto.com/379574/159223)文中,我们探讨了有关FreeNAS存储系统的安装,系统安装好后,我们还需要对系统进行一些设置,才能让系统正常的工作,下面我们就来探讨一下FreeNAS的配置。我将FreeNAS的配置分成了几块:磁盘管理、网络管理、服务管理、系统管理、用户管理、备份/还原和系统升级。下面我将按各个模块来介绍FreeNAS的配置。 1. 磁盘管理  1) 新增硬盘... 全文

部署 存储系统 休闲 FreeNAS 职场

海量图片存储

分布式存储     当下互联网飞速发展,海量并发所产生的数据量以几何方式增长,随着信息链接方式日益多样化,数据存储的结构也发生了变化,在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战,比如:数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可视化等一些列问题    传统存储在面对海量数据存储时已经力不从心,比如纵向扩展受阵列空间限制、横向扩展受交换设备限制、节点受文件系统限制    分布式存储的出现在在一定程度上缓解了这一问题分布式存储基础介绍    ... 全文

海量图片存储--MogileFS分布式存储系统

华为OceanStor MVX存储系统:大数据解决之道

随着近年来互联网、云计算、移动终端和物联网的迅猛发展,全球在2010 年正式进入ZB 时代。随着大数据时代到来,海量,多类型数据的存储、分析、容灾、备份以及统一管理都对传统架构产生了很大的冲击。... 全文

存储系统 大数据 华为

轻量级持久存储系统 MemcacheDB

注:memcached可能简称mc,memcachedb可能简称mcdb 一、memcachedb是什么 mcdb是一款分布式键值持久存储系统,由新浪开源。mcdb基于mc协议,所以可以使用mc客户端直接使用,存储引擎方面使用Berkeley DB,支持主从复制模式。 二、memcachedb的应用场景 首先,我们从基本的数据存储的角度看mysql、memcached、memcachedb的区别和特点,当然它们肯定不只这点区别。 mc因为是非持久存储的,所以它的定位就是缓存。 而mcdb不是用来做缓存的,它是和mysql同个层次的东西。不一样的是,mcdb性能要比mysql高,而mysql检索功能比mcdb强。如果非要从缓存的角度看的话,那mc就是缓解mysql读压力,而mcdb则是缓解mysql写压力。 mcdb适合应用的场景: 1.浏览/点击/等统计,也可以局部代替mysql的count函数 2.标志,例如,JE的“我在干什么”功能 3.频繁写的地方,访客列表、评论之类的 之前,我写过的feed设计最大特点是使用mcdb来分散写压力,对sns来说动态产生太频繁了,全部写进mysql压力太大了,毕竟读/写1K和100K性能不是一样的,一台mcdb和一台mysql的成本不一样啊。。 虽然mcdb的方式比较简单,但是应用场合还是很丰富的,使用新产品要发散思维,充分发挥想象力~ 不过重要的数据还是不建议使用,感觉还不是很放心。 三、安装 安装MemcacheDB之前需要安装Libevent和Berkeley Db 1.先安装libevent 下载地址: http://www.monkey.org/~provos/libevent/Java代码 tar zxvf libevent-1.4.9-stable.tar.gz   cd libevent-1.4.9-stable   ./configure   make   make install  tar zxvf libevent-1.4.9-stable.tar.gz cd libevent-1.4.9-stable ./configure make make install2.安装Berkeley Db 下载地址:http://www.oracle.com/technology/software/products/berkeley-db/index.html... 全文

存储系统 crash 服务器 character mysql java

IBM服务器直连存储系统不启动【经验分享】

这个问题很多见,即IBM服务器通过HBA卡直连存储后无法进入系统,手动的进行断开存储连接线能解决问题,但是治标不治本,那么如何才能彻底解决这个问题呢?今天用一台IBM 3850X5服务器做个分享给大家,希望能够帮助广大饭友,话不多说,进入正题。具体设置分两种,一种即针对NON-UEFI的操作系统(比如Windows Server 2003),设置步骤如下: 1、开机按F1进UEFI,选System Settings按Enter键。2、选Devices and I/O Ports按Enter键。3、选Enable/Disable Legacy Option ROMs按Enter键。4、在Enable/Disable Legacy Option ROMs下选择HBA安装的槽位按Enter键。5、选Disabled按Enter键。6、在Enable/Disable UEFI Option ROMs下选择HBA安装的槽位按Enter键。7、选Disabled按Enter键。8、按Esc3次回到System Configuration主目录,选Save Settings按Enter键。9、选Boot Manager按Enter键。10、选Add Boot Option按Enter键。11、选Legacy Only按Enter键。12、按Esc回到Boot Manager13、选Change Boot Order按Enter键。14、选择当前的启动项按Enter键。15、选Legacy Only按+将他至于装系统的设备之上,一般来说,就是在0号硬盘之上,按Enter键。 16、选择Commit Changes,按Enter键。 17、按Esc回到Boot Manager,选择Reset System,按Enter键。 另外一种则是针对UEFI的操作系统,比如Windows Server 2008,具体设置步骤如下:1、自检进入F1 UEFI,先检查阵列配置(逻辑盘,物理盘均为正常),然后进入Boot Manager选项,选择"Add Boot Option" 。2、选择安装Windows2008的分区,一般有以下信息, 然后选择进入"Ctrl(0x0)/Scsi(0x0,0x0)/HD(1,GPT,*******-****-****) 3、里面有<EFI>选项进入,然后选择<Mcirosoft>,再选择<BOOT>,接着选择"bootmgfw.efi" 。4、在"Input the description"按Enter键输入" Windows boot manager",然后选择"Commit Changes"。5、然后退出选择"save settings",退出UEFI。设置完之后,重启服务器,问题解决。知识点拓展——关于【UEFI】新型UEFI,全称“统一的可扩展固件接口”(Unified Extensible Firmware Interface), 是一种详细描述全新类型接口的标准。这种接口用于操作系统自动从预启动的操作环境,加载到一种操作系统上,从而使开机程序化繁为简,节省时间。(备注:选摘百度百科)如Windows Server2008是UEFI系统外,像Linux 和Windows 03等常见的都是Non-UEFI系统。... 全文

IBM服务器直连存储系统不启动

云集成存储和对象存储系统如何协作?

RESTful API是对象存储的内置访问,而且被认为是进入对象存储的最有效途径。然而,有时候使用对象存储RESTful API修复一个应用并不实用,使用软件项更有用,比如转换或者网关软件。在研究RESTful API合适的替代时,有另外的一个系统分类可以考虑:云集成存储系统。这篇技术技巧文章将关注云集成存储在合适的情况下,如何帮助促进对象存储。 云集成存储(CIS)实际上是一个第三方ISV转换或者网关软件的变种。简而言之,这个软件分类是作为硬件存储系统封装、交付、压缩的网关软件。然而,这些产品的发展又远远超越了云存储的网关,在简而言之就是对象存储。很多已经变得就像传统的SAN、NAS或者统一存储系统一样能干,尤其是针对主数据或者活跃数据。这些CIS系统根本上类似于混合层存储系统,因为他们对二级数据、老数据和快照数据采用对象存储层。 CIS系统让对象存储对于任何访问CIS作为NAS或者SAN存储的应用完全透明。应用不会知道其数据已经存放在对象存储中。CIS也存在优点和缺点。将CIS和对象存储看作是一个完整的存储生态系统,CIS对于大多数频繁访问的数据扮演了高速缓存的角色。对象存储成为二级、被动或者不频繁访问数据的存储。 有很多原因可以支持你采用CIS。对于初学者,CIS交付了内置SAN或者NAS存储性能。在将数据转移到对象存储层之前进行重复删除、压缩和加密。这就减少了存放在CIS中的主要活跃数据的容量,以及存放在对象存储中的老数据、二级数据和快照数据的容量。CIS对象存储层的概念减少了资本和运营开支。CIS的另一个好处来足浴多CIS系统对于存储在对象存储中的数据的易于访问性。要求通过相同厂商CIS和正确的加密密钥访问。导致其成为一个出色的灾难恢复(DR)工具,尤其是同李勇对象存储作为其云存储产品的云服务提供商工作时更是如此。所有数据通过CIS转移到云对象存储,除了服务器镜像,都能够通过Cloud Array appliances和Cloud Array VM在云服务提供商的数据中心中恢复。Avere Cloud NAS和Panzura Quicksilver Cloud Storage Controller也将其作为其CIS的卖点。CIS的另一个优势是针对地理分布的CIS NAS系统的全球域命名空间。这样促进了内容和工作流共享。CIS其他的好处在于能够利用多个不同的厂商对象存储系统和公有云(对象)存储系统。如果对象存储或者云存储提供商跟Nirvanix一样倒闭了的话,这一点就显得尤为重要。能够同多种对象存储工作也让素具能够更易于从一个提供商迁移到另一个。 但是CIS也有缺点。通过CIS系统转移到对象存储系统的任何数据只能通过具体厂商的CIS访问和恢复。如果想要不同的CIS,数据就必须从对象存储调回到原始CIS,然后迁移到新的CIS,最后上传回对象存储。随着存储数据增长的越来越多,这件事情也会变得更加大量、耗时。 并不是所有CIS都可以比更传统的SAN、NAS或者同一存储系统执行得更好。一些CIS系统同有限的对象存储系统工作(或者有时候仅仅是一个厂商系统)。确保选择的任何CIS系统能够证明同所选的对象存储系统更好的在生产环境中共同运作至关重要。 下面就是将数据迁移至CIS。记住CIS系统看起来、感觉上而且就像任何其他的SAN、NAS或者是统一存储系统。这意味着存在于目前安装的存储系统的数据必须迁移到CIS系统,这又是一次非凡的实践体验。 有很多厂商提供CIS系统,比如vere Cloud NAS、Ctera云存储网关、微软StorSimple、Nasuni (存储基础架构即服务)、Panzura Quicksilver Cloud Storage Controller、Riverbed Whitewater和TwinStrata Cloud Array。 CIS成为将数据转入或者转出对象存储的最简单的方式。CIS系统看起来、感觉上而且就像目前数据中心中的存储,同时可以在对象存储上往复转移数据,成为一种低成本的存储层。存在超凡的优势,也存在严峻的问题(比如厂商锁定)。一定要铭记:它只是多种同等有效的进入和离开对象存储的方式之一。... 全文

云集成 云存储 RESTful

Oracle业务就绪存储系统助力企业实现存储升级

在不断强调信息化建设及信息化改革的今天,信息化管理已经逐渐成为了现代企业的核心。同时,信息存储也成为了现代业务系统的必要基础,不论是业务决策、订单的输入及履行,还是人力资源、客户关系、产品开发及法规遵从等,数据存储的质量都决定了它们的好坏与优劣。据IDC公司此前发布的一份数据显示,在2009年至2020年间的11年中,“数字宇宙”的规模将增加44倍之多,这意味着每年的数据量将以41%的幅度进行增长。而这可能还只是一个保守的数据估计。信息存储的挑战和未来发展趋势... 全文

Oracle 存储优化 数据库优化

在SQL Server 2005中编写sp_lock系统存储过程

做为系统存储过程,sp_lock可以用来了解服务器的运行情况,通过查看系统的锁定信息诊断SQL Server可能出现的问题。不过系统存储过程sp_lock本身存在一些缺陷。对于数据库管理新手来说,其返回的结果不够直白,花费了大量的工作来显示系统中哪个会话造成了最多锁定,却并没有提供多少关于这些对象或会话的相应详细信息。虽然我们可以创建自定义的脚本来查看这些信息,但是返回的结果往往过于复杂,而充其量能返回一些质量低下的信息。也有其他的一些系统表可以用来查看锁定信息,例如syslockinfo,但信息的细节同样不够明了。此外,sp_lock和syslockinfo还有一个更大的问题,那就是他们都是“不建议使用的特性”,所以将来的SQL Server版本中可能不再包含这些特性。SQL Server 2005提供的新的动态管理视图包含了大量锁定细节,并使我们能够将锁定信息关联起来,看起来可以更一目了然。... 全文

SQL Server 2005 sp_lock 系统 存储

分布式文件系统MFS(moosefs)实现存储共享(二)

  分布式文件系统MFS(moosefs)实现存储共享作者:田逸(sery@163.com) from: [url]http://net.it168.com/a2009/0403/270/000000270867.shtml[/url] MFS客户端的安装及配置 我的生产环境,只有centos和freebsd两种环境,因此下面的描述,只有centos及freebsd挂接MFS文件系统的情形,其他类型的unix系统,待日后尝试。对比前面的操作过程,客户端挂接后使用MFS集群文件系统才是最费时的事情。... 全文

文件系统 分布式 存储共享 MFS

专家博客:有关存储虚拟化技术应用的探讨

现如今虚拟化发展如日中天,继服务器虚拟化之后,存储虚拟化技术也开始在各种领域广泛应用。    对于服务器虚拟化,如今用户已经很了解了,就是通过虚拟化软件,将一台物理服务器虚拟为多台虚拟服务器,借助Vmotion等迁移特性,提高服务器计算资源的利用率。但是对于存储虚拟化,很多人就不了解了。套用服务器虚拟化的经验,存储虚拟化莫非也是将一个物理磁盘或者阵列,虚拟为多个虚拟盘或虚拟阵列,答案是否定的。从服务器虚拟化,到存储虚拟化只有一个共同点,就是通过池化资源的方式,提高计算资源或者存储资源的利用率。 池化的话题 对于存储而言,池化的概念并不陌生。可以说,存储池化概念的提出不始于存储虚拟化,在存储从服务器直联存储到以SAN或者NAS为代表的网络存储的发展过程中,就提出了池化的概念。 借助池化,网络存储可以有效提升存储的利用率。因此,从直联存储向网络存储的发展过程,从技术上看,就是一个磁盘池化的过程。JBOD也好,RAID也好,以及SAN和NAS都是借助池化来提升磁盘的利用率。如今,存储虚拟化技术不可避免的又提出了池化。那么,此池化与彼池化有什么区别呢? 为什么网络存储池化之外,还需要一个存储虚拟化的池化呢?换句话说,是不是SAN或者NAS的网络存储不够彻底。对此,IBM存储架构师马静指出,信息化不断发展,在用户信息化应用过程中,在不同时期会有不同的需求,引入不同的应用系统。与此同时,产品技术的发展,不同时期也会有所不同,两者结合,就造成了不同的应用系统并存,造成所谓信息孤岛。存储也是这样,针对不同应用而设计的多套SAN、NAS系统并存,造成所谓存储的信息孤岛。那么,不同的SAN、 NAS系统之间,其存储资源是无法进行共享。 对于多套网络存储系统并存,中国民航计算机信息中心生产调度部负责人戚前方指出,从企业发展的角度,SAN的出现就是企业需求的表现。如果纯粹从理论的角度,用一个SAN所构建的网络存储系统支撑企业所有应用系统的存储需求,这是有可能的。但从实际情况看,这是非常困难的。戚前方指出,目前很多企业都存在着多套SAN系统并存,不同SAN系统利用率不同,但是又没有办法让多个SAN系统之间形成资源联动。戚前方表示,作为用户他非常需要能够灵活调配存储资源的解决方案。 用一套SAN系统来整合企业存储,从技术上也有很大难度。马静指出,一来SAN存储目前还没有完全一个通用的标准,各家主流厂商所生产的SAN 系统,虽有标准但所遵循程度不一,没有做到完全的标准化。还有一方面,各家管理平台不一样,因此用SAN来满足存储资源池化,实现存储资源的灵活调配,几乎不可行。这也是存储虚拟化产生和发展的原因。 存储虚拟化 所谓存储虚拟化技术,就是借助相关的存储虚拟化设备,如IBM所推出的SVC,对目前用户环境下的多套存储系统进行整合,进行虚拟化配置之后映射给主机系统,实现存储资源的最大共享。马静指出,虚拟化之后,对于用户而言不需要了解数据是存储在哪个系统,从而实现了存储资源的透明化。 “从用户的角度看,存储最好能够像家中的水龙头一样,打开就有水,就能用,但是你不需要了解,水龙头的水来自哪个水厂。只要能够进行存储资源的灵活调配,数据信息可以自动流动,这就是存储虚拟化所能够带来的意义。”戚前方说。 “在技术实现上,存储虚拟化是一套物理设备,是一个软硬件的集成方案。”马静介绍说。 就IBM存储虚拟化解决方案而言,SVC是在SAN网络层进行虚拟化,通过在主机和SAN存储设备之间构建一个虚拟引擎连接,将主机传输出来的I/O数据,直接导向虚拟引擎节点,对于IBM而言,就是导向SVC,然后在SVC的控制下,经SAN交换机,交付各个SAN系统,进行后端存储保存。总而言之,就是在原有的存储结构中,新加入了一个存储虚拟化层,并用这个新加入的存储虚拟化层,对于应用系统数据进行统一管理和调配。 据马静介绍,之所以大费周折,对现有存储系统进行虚拟化改造,是因为,存储虚拟化可以带来一系列的好处。一来,它实现了存储资源的池化和共享。众所周知,目前的存储系统所采用很多磁盘,其实并不完全由于存储容量的考虑,只要是为满足存储系统对性能的要求,通过多磁盘并行存储,改善系统的 IOPS.实施存储虚拟化,相当于建立了一个整合多套存储资源的存储池,也意味着可以使用更多磁盘,不仅提高了性能,同时磁盘资源配置更加灵活。二来,存储虚拟化还可以利旧,继续发挥一些老旧存储系统。以一些老旧中低端存储为例,这些系统的特点是缓存比较小,通常只有几个G,超过8G的都很少,对整个存储系统影响比较大,但是他们的磁盘容量大。采用存储虚拟化,以SVC为例,它采用集群配置的方式,一个节点就有8G缓存,因此在存储虚拟化的统一调度下,可以显著提高老旧存储系统的性能,同时发挥其大容量的需求。   此外,一些高级的管理特性,如Thin Provisioning(自动精简配置)等,这些管理特性以往只有在高端存储系统才具有,尽管今年来,这些高端技术和管理特性也在逐步往中低端产品下移,单是对于老旧系统而言,不具备这样的管理特性。此外如快照,它是保持CDP(连续数保护)很重要的一个特性,可以确保系统故障时,恢复到快照时间点。但是快照也有一个缺点,就是占用存储磁盘的空间,很多中低端存储就是受容量限制,无法开展快照应用。IBM在快照技术上具有专利技术,其快照卷较之源卷可以做得非常小,即发挥了快照的特性,又减少存储容量的影响。这样的一些技术,通过引入存储虚拟化被自动引入,从而将现有的存储系统拉升一个台阶。这也是存储虚拟化所带来的好处。 平衡与取舍 存储虚拟化的好处显而易见的,但是落实到应用,用户不可避免的会有所担心。对此,戚前方指出,主要的担心有两点:一是存储虚拟化层自身的开销,对原有存储系统的影响;二来就是对于备份中心而言,目前企业多采用同步同构模式,或者采用异构同步的模式,随着存储虚拟化层的引入,对于备份的模式会产生怎么样的影响。 对于这些担心,马静观点认为,在整个数据链路通道上,增加一层虚拟化的,从整个系统的高可用性来说,肯定有所降低,毕竟增加了一个环节。但这是一个取舍的问题。要享受存储虚拟化的种种好处,那么就要付出一些代价。实际上,对于存储虚拟化层的可靠性,在设计上有很多的技术考虑和保证。以SVC为例,它采用集群配备和扩展的模式,可以从2个节点一直扩展到8个节点,未来可以扩展到更多,所支持的存储容量从TB级一直可以到PB级。在稳定性方面,IBM SVC设计可以达到99.999%,具有很高的质量保证。兼容性方面,从2003年设计开始,SVC已经有6年的历史,其间IBM与几十家光纤交换机、主机、操作系统和存储厂商都有合作,目前用户可以透过网站了解兼容性情况。实际上,也只有做到了兼容,才会有存储虚拟化。 据了解,引入存储虚拟化,至少停机一次。首先需要用户停机,确保所有数据全部保存到后端磁盘,做到数据的完整、可用。在此之后,把SVC存储虚拟化系统接入到SAN里来,它需要做好相应的部署工作,如一一映射管理等,因为必须要保证数据的可用和一致。但这个过程比较容易控制,因不牵扯具体数据拷贝时间,因此所需要的时间很短,少则一个小时,如果整合的系统非常多,所需要时间就会加长。待部署工作完成之后,就可以进行虚拟化配置,此后系统就可以工作了。此外,在服务器方面,需要按照一个软件,以确保不会产生链路故障,不会影响数据的一致性,同时肩负负载均衡的功能。 总之,存储虚拟化前期规划非常重要,需要针对用户应用现状,给出专业化的解决方案。所谓大块头需要大智慧,对于存储虚拟化应用而言,就需要整体的规划部署,取舍与平衡。据了解,为了推动存储虚拟化应用发展,IBM方面会推出一系列的优惠策略,以及专业化的咨询与服务。更多精彩内容请关注:IBM虚拟化与云计算官方微博IBM虚拟化与云计算官方网站... 全文

存储 虚拟化 探讨 IBM 存储系统

存储硬盘接口ATA/SATA/SCSI/SAS/FC比较

硬盘接口是硬盘与主机系统间的连接部件,作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与控制器之间的连接速度,在整个系统中,硬盘 接口的性能高低对磁盘阵列整体性能有直接的影响,因此了解一款磁盘阵列的硬盘接口往往是衡量这款产品的关键指标之一。存储系统中目前普遍应用的硬盘接口主 要包括SATA、SCSI、SAS和FC等,此外ATA硬盘在SATA硬盘出现前也在一些低端存储系统里被广泛使用。 每种接口协 议拥有不同的技术规范,具备不同的传输速度,其存取效能的差异较大,所面对的实际应用和目标市场也各不相同。同时,各接口协议所处于的技术生命阶段也各不 相同,有些已经没落并面临淘汰,有些则前景光明,但发展尚未成熟。那么经常困扰客户的则是如何选择合适类型阵列,既可以满足应用的性能要求,又可以降低整 体投资成本。现在,我们将带您了解目前常见的硬盘接口技术的差异与特点,从而帮助您选择适合自身需求的最佳方案。ATA,在并行中没落ATA (AT Attachment)接口标准是IDE(Integrated Drive Electronics)硬盘的特定接口标准。自问世以来,一直以其价廉、稳定性好、标准化程度高等特点,深得广大中低端用户的青睐,甚至在某些高端应用 领域,如服务器应用中也有一定的市场。ATA规格包括了 ATA/ATAPI-6 其中Ultra ATA 100兼容以前的ATA版本,在40-pin的连接器中使用标准的16位并行数据总线和16个控制信号。最早的接口协议都是并行 ATA(Paralle ATA)接口协议。PATA接口一般使用16-bit数据总线, 每次总线处理时传送2个字节。PATA接口一般是100Mbytes/sec带宽,数据总线必须锁定在50MHz,为了减小滤波设计的复杂性,PATA使 用Ultra总线,通过“双倍数据比率”或者2个边缘(上升沿和下降沿)时钟机制用来进行DMA传输。这样在数据滤波的上升沿和下降沿都采集数据,就降低 一半所需要的滤波频率。这样带宽就是:25MHz 时钟频率x 2 双倍时钟频率x 16 位/每一个边缘/ 8 位/每个字节= 100 Mbytes/sec。在过去的20年中,PATA成为ATA硬盘接口的主流技术。但随着CPU时钟频率和内存带宽的不断提 升,PATA逐渐显现出不足来。一方面,硬盘制造技术的成熟使ATA硬盘的单位价格逐渐降低,另一方面,由于采用并行总线接口,传输数据和信号的总线是复 用的,因此传输速率会受到一定的限制。如果要提高传输的速率,那么传输的数据和信号往往会产生干扰,从而导致错误。PATA的技术潜 力似乎已经走到尽头,在当今的许多大型企业中,PATA现有的传输速率已经逐渐不能满足用户的需求。人们迫切期待一种更可靠、更高效的接口协议来替代 PATA,在这种需求的驱使下,串行(Serial)ATA总线接口技术应运而生,直接导致了传统PATA技术的没落。SATA,在低端徘徊PATA曾经在低端的存储应用中有过光辉的岁月,但由于自身的技术局限性,逐步被串行总线接口协议(Serial ATA,SATA)所替代。SATA以它串行的数据发送方式得名。在数据传输的过程中,数据线和信号线独立使用,并且传输的时钟频率保持独立,因此同以往 的PATA相比,SATA的传输速率可以达到并行的30倍。可以说:SATA技术并不是简单意义上的PATA技术的改进,而是一种全新的总线架构。从总线结构上,SATA 使用单个路径来传输数据序列或者按照bit来传输,第二条路径返回响应。控制信息用预先定义的位来传输,并且分散在数据中间,以打包的格式用开/关信号脉 冲发送,这样就不需要另外的传输线。SATA带宽为16-bit。并行Ultra ATA总线每个时钟频率传输16bit数据,而SATA仅传输1bit,但是串行总线可以更高传输速度来弥补串行传输的损失。SATA将会引入 1500Mbits/sec带宽或者1.5Gbits/sec带宽。由于数据用8b/10b编码,有效的最大传输峰值是150Mbytes/sec。目前能够见到的有SATA-1和SATA-2两种标准,对应的传输速度分别是150MB/s和300MB/s。从速度这一点上,SATA已经远远把 PATA硬盘甩到了后面。其次,从数据传输角度上,SATA比PATA抗干扰能力更强。从SATA委员会公布的资料来看,到2007年,在第三代串行 ATA技术中,个人电脑存储系统将具有最高达600MB/s的数据带宽。此外,串口的数据线由于只采用了四针结构,因此相比较起并口安装起来更加便捷,更 有利于缩减机箱内的线缆,有利散热。虽然厂商普遍宣称SATA支持热插拔,但实际上,SATA在硬盘损坏的时候,不能像 SCSI/SAS和FC硬盘一样,显示具体损坏的硬盘,这样热插拔功能实际上形同虚设。同时,尽管SATA在诸多性能上远远优越于PATA,甚至在某些单 线程任务的测试中,表现出了不输于SCSI的性能,然而它的机械底盘仍然为低端应用设计的,在面对大数据吞吐量或者多线程的传输任务时,相比SCSI硬 盘,仍然显得力不从心。除了速度之外,在多线程数据读取时,硬盘磁头频繁地来回摆动,使硬盘过热是SATA需要克服的缺陷。正是因为这些技术上致命的缺 陷,导致目前为止,SATA还只能在低端的存储应用中徘徊。SCSI,中端存储的主流之选SCSI(Small Computer System Interface)是一种专门为小型计算机系统设计的存储单元接口模式,通常用于服务器承担关键业务的较大的存储负载,价格也较贵。SCSI计算机可以 发送命令到一个SCSI设备,磁盘可以移动驱动臂定位磁头,在磁盘介质和缓存中传递数据,整个过程在后台执行。这样可以同时发送多个命令同时操作,适合大 负载的I/O应用。在磁盘阵列上的整体性能也大大高于基于ATA硬盘的阵列。SCSI规范发展到今天,已经是第六代技术了,从刚创建 时候的SCSI(8bit)到今天的Ultra 320 SCSI,速度从1.2MB/s到现在的320MB/s有了质的飞跃。目前的主流SCSI硬盘都采用了Ultra 320 SCSI接口,能提供320MB/s的接口传输速度。SCSI硬盘也有专门支持热拔插技术的SCA2接口(80-pin),与SCSI背板配合使用,就可 以轻松实现硬盘的热拔插。目前在工作组和部门级服务器中,热插拔功能几乎是必备的。相比ATA硬盘,SCSI体现出了更适合中、高端存储应用的技术优势:首先SCSI相对于ATA硬盘的接口支持数量更多。一般而言,ATA硬盘采用IDE插槽与系统连接,而每IDE插槽即占用一个IRQ(中断号),而每两 个IDE设备就要占用一个IDE能道,虽然附加IDE控制卡等方式可以增加所支持的IDE设备数量,但总共可连接的IDE设备数最多不能超过15个。而 SCSI的所有设备只占用一个中断号(IRQ),因此它支持的磁盘扩容量要比ATA更为巨大。这个优点对于普通用户而言并不具备太大的吸引力,但对于企业 存储应用则显得意义非凡,某些企业需要近乎无节制地扩充磁盘系统容量,以满足网络存储用户的需求。其次:SCSI的带宽很 宽,Ultra 320 SCSI能支持的最大总线速度为320MB/s,虽然这只是理论值而已,但在实际数据传输率方面,最快 ATA/SATA的硬盘相比SCSI硬盘无论在稳定性和传输速率上,都有一定的差距。不过如果单纯从速度的角度来看,用户未必需要选择SCSI硬盘, RAID技术可以更加有效地提高磁盘的传输速度。最后、SCSI硬盘CPU占用率低、并行处理能力强。在ATA和SATA硬盘虽然也 能实现多用户同时存取,但当并行处理人数超过一定数量后, ATA/SATA硬盘就会暴露出很大的I/O缺陷,传输速率有大幅下降。同时,硬盘磁头的来回摆动,也造成硬盘发热不稳定的现象。对 于SCSI而言,它有独立的芯片负责数据处理,当CPU将指令传输给SCSI后,随即去处理后续指令,其它的相关工作就交给SCSI控制芯片来处理;当 SCSI“处理器”处理完毕后,再次发送控制信息给CPU,CPU再接着进行后续工作,因此不难想像SCSI系统对CPU的占用率很低,而且 SCSI硬盘允许一个用户对其进行数据传输的同时,另一位用户同时对其进行数据查找,这就是SCSI硬盘并行处理能力的体现。SCSI硬盘较贵,但是品质性能更高,其独特的技术优势保障SCSI一直在中端存储市场占据中流砥柱的地位。普通的ATA硬盘转速是5400或者 7200 RPM;SCSI 硬盘是10000或者15000 RPM,SCSI硬盘的质保期可以达到5年,平均无故障时间达到1,200,000小时。然而对于企业来说,尽管SCSI在传输速率和容错性上有极好的表 现,但是它昂贵的价格使得用户望而却步。而下一代SCSI技术SAS的诞生,则更好的兼容了性能和价格双重优势。SAS,接口协议的明日帝国SAS 是Serial Attached SCSI的缩写,即串行连接SCSI。和现在流行的Serial ATA(SATA)硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。SAS是新一代的SCSI技术,同SATA之于PATA的革命意义一样,SAS 也是对SCSI技术的一项变革性发展。它既利用了已经在实践中验证的 SCSI 功能与特性,又以此为基础引入了SAS扩展器。SAS可以连接更多的设备,同时由于它的连接器较小,SAS 可以在3.5 英寸或更小的 2.5 英寸硬盘驱动器上实现全双端口,这种功能以前只在较大的 3.5 英寸光纤通道硬盘驱动器上能够实现。这项功能对于高密度服务器如刀片服务器等需要冗余驱动器的应用非常重要。为保护用户投资,SAS 的接口技术可以向下兼容SATA。SAS系统的背板(Backplane)既可以连接具有双端口、高性能的SAS驱动器,也可以连接高容量、低成本的 SATA驱动器。过去由于SCSI、ATA分别占领不同的市场段,且设备间共享带宽,在接口、驱动、线缆等方面都互不兼容,造成用户资源的分散和孤立,增 加了总体拥有成本。而现在,用户即使使用不同类型的硬盘,也不需要再重新投资,对于企业用户投资保护来说,实在意义非常。但需要注意的是,SATA系统并 不兼容SAS,所以SAS驱动器不能连接到SATA背板上。SAS 使用的扩展器可以让一个或多个 SAS 主控制器连接较多的驱动器。每个扩展器可以最多连接 128 个物理连接,其中包括其它主控连接,其它 SAS 扩展器或硬盘驱动器。这种高度可扩展的连接机制实现了企业级的海量存储空间需求,同时可以方便地支持多点集群,用于自动故障恢复功能或负载平衡。目前, SAS接口速率为3Gbps,其SAS扩展器多为12端口。不久,将会有6Gbps甚至12Gbps的高速接口出现,并且会有28或36端口的SAS扩展 器出现以适应不同的应用需求。其实际使用性能足于光纤媲美。SAS虽然脱胎于SCSI,但由于其突出的适于高端应用的性能优势,更普 遍把SAS与光纤技术进行比较。由于SAS由SCSI发展而来,在主机端会有众多的厂商兼容。SAS采用了点到点的连接方式,每个SAS端口提供3Gb带 宽,传输能力与4Gb光纤相差无几,这种传输方式不仅提高了高可靠性和容错能力,同时也增加了系统的整体性能。在磁盘端,SAS协议的交换域能够提供 16384个节点,而光纤环路最多提供126个节点。而兼容SATA磁盘所体现的扩展性是SAS的另一个显著优点,针对不同的业务应用范围,在磁盘端用户 可灵活选择不同的存储介质,按需降低了用户成本。在SAS接口享有种种得天独厚的优势的同时,SAS产品的成本从芯片级开始,都远远 低于FC,而正是因为SAS突出的性价比优势,使SAS在磁盘接口领域,给光纤存储带来极大的威胁。目前已经有众多的厂商推出支持SAS磁盘接口协议的产 品,虽然目前尚未在用户层面普及,但SAS产品部落已经初具规模。 SAS成为下一代存储的主流接口标准,成就磁盘接口协议的明日辉煌已经可以预见。FC,高端应用的基石光纤通道标准已经被美国国家标准协会(ANSI)采用,是业界标准接口。通常人们认为它是系统与系统或者系统与子系统之间的互连架构,它以点对点(或是 交换)的配置方式在系统之间采用了光缆连接。当然,当初人们就是这样设想的,在众多为它制订的协议中,只有IPI(智能外设接口)和IP(网际协议)在这 些配置里是理想的。后来光纤通道的发展囊括了电子(非光学)实现,并且可以用成本相对较低的方法将包括硬盘在内的许多设备连接到主机 端口。对这个较大的光纤通道标准集有一个补充称为光纤通道仲裁环(FC-AL)。FC-AL使光纤通道能够直接作为硬盘连接接口,为高吞吐量性能密集型系 统的设计者开辟了一条提高I/O性能水平的途径。目前高端存储产品使用的都是FC接口的硬盘。FC硬盘名称由于通过光学物理通道进行 工作,因此起名为光纤硬盘,现在也支持铜线物理通道。就像是IEEE-1394, Fibre Channel 实际上定义为SCSI-3标准一类,属于SCSI的同胞兄弟。作为串行接口FC-AL峰值可以达到2Gbits/s甚至是4Gbits/s。而且通过光学 连接设备最大传输距离可以达到10KM。通过FC-loop可以连接127个设备,也就是为什么基于FC硬盘的存储设备通常可以连接几百颗甚至千颗硬盘提 供大容量存储空间。关于光纤硬盘以其的优越的性能、稳定的传输,在企业存储高端应用中担当重要角色。业界普遍关注的焦点在于光纤接口 的带宽。最早普及使用的光纤接口带宽为1Gb,随后2Gb带宽光纤产品统治市场已经长达三年时间。现在最新的带宽标准是4Gb,目前普遍厂商都已经推出 4Gb相关新品,Gartner则预言 4Gb光纤产品在未来2年将以300%的年复合成长率快速增长,并在2007年取代2Gb光纤成为市场主流。对于这份报告提出的观点,业界的看法不一。有的人认为,2Gb光纤信道正式取代1Gb也不过才不到3年的时间,供货商又紧接着推出4Gb的产品,企业的 接受度令人存疑。另一方面,磁盘接口端SAS技术的兴起,和主机接口端iSCSI技术的发展,也给光纤存储的发展带来不小的压力。事 实上,4Gb光纤信道传输协议早在2002年就已经通过美国国家标准协会(ANSI)的光纤信道实体接口(Fibre Channel-Physical Interfaces,简称FC-PI)规范,而与此同时,10Gb光纤标准也在同一年发表,但由于10Gb光纤并不具备向下兼容的能力,用户如果希望升 级到10Gb光纤平台,则必须更换所有基础设施,成本过于昂贵,一直无人问津。相较之下,4Gb是以2Gb为基础延伸的传输协议,可 以向下兼容1Gb和2Gb,所使用的光纤线材、连接端口也都相同,意味着使用者在导入4Gb设备时,不需为了兼容性问题更换旧有的设备,不但可以保护既有 的投资,也可以采取渐进式升级的方式,逐步淘汰旧有的2Gb设备。而目前,各存储厂商推出的 4Gb光纤新品与2Gb光纤产品已无价格差距,用户可在相差不多的情况下购买到4 Gb光纤产品,从这个意义来说,4Gb光纤产品的普及也是指日可待。随需而变 灵活选择网络存储设备目前大致可分为3类,即高端、中端和近线(Near-Line)。目前,高端存储产品主要应用的是光纤通道硬盘,应用于关键数据的大容量实 时存储。中端存储设备则主要采用SCSI,应用于商业级的关键数据的大容量存储。近线是近年来新出现的存储领域,一般采用SATA硬盘存储,应用于非关键 数据的大容量存储,目的是替代以前使用磁带的数据备份。今后几年,光纤通道和SAS将成为存储上的首选接口,这两种技术在实际性能上 的表现几乎相同。但是,从发展前景来看,在大约一年以后,SAS的传输带宽还有可能将增加一倍,而光纤通道下一步是发展到8Gbps还是10Gbps目前 还无定论,且发展到8Gb或者10Gb后,向下兼容的问题还没有有效解决。目前,哪种技术更好一些,光纤还是SAS,仍然很难定夺。 但是由于并行SCSI占据着80%左右的企业硬盘市场,并且SAS兼容低端的SATA硬盘。这样当用户预算紧张的时候,可以选择搭配SATA硬盘;当性能 为重时,则可以更换为高性能的SAS硬盘。因此,根据富士通公司的预测:在未来几年内, SAS将有可能占据绝大多数的中高端存储市场。对于用户来说:单纯比较硬盘并不一定是越贵的越好,关键是看是否适合自己的应用。另外单纯硬盘的硬盘接口协议也不是衡量一个存储系统性能指标的唯一要 素,除了硬盘性能指标以外,存储系统的硬件设计,前端主机接口等性能指标也同样对存储系统的整体性能影响巨大。如果需要应用于I/O负载较轻的应用比如文 件共享、FTP、音频存储、数据备份等可以考虑基于SATA硬盘的阵列。如果I/O负载较重的FTP、VOD、EMAIL、Web、数据库应用,那么可以 考虑基于SCSI/SAS硬盘的存储系统;如果是较大规模的数据中心,硬盘数量需求巨大,考虑到目前SAS技术的不成熟,我们仍然推荐选用基于光纤硬盘的 存储系统。... 全文

存储 存储系统 磁盘 产品 扩展 ide

Linux系统iSCSItarget(存储提供端)和iSCSI initator(存储使用端)的配置

《Linux iSCSI target配置全过程》文章分类:操作系统一:Install iSCSI target for Linux1,操作系统:[root@rac2 ~]# cat /etc/issueEnterprise Linux Enterprise Linux AS release 4 (October Update 4)Kernel r on an m[root@rac2 /]# uname -aLinux rac2.mycorpdomain.com 2.6.9-42.0.0.0.1.ELsmp #1 SMP Sun Oct 15 14:02:40 PDT 2006 i686 i686 i386 GNU/Linux[root@rac2 /]# 2,解压文件[root@rac2 ~]# tar -xzvf iscsitarget-0.4.15.tar.gz 3,编译[root@rac2 ~]# cd iscsitarget-0.4.15[root@rac2 iscsitarget-0.4.15]# lsChangeLog COPYING doc etc include kernel Makefile patches README README.vmware usr[root@rac2 iscsitarget-0.4.15]# make [root@rac2 iscsitarget-0.4.15]# make install... 全文

存储 linux redhat makefile session path

Android获取手机内置外置存储文件列表,完美解决各种rom各种系统版本的获取方式不用的问题

/** * 获取内外置存储文件 * * @param context * @return */ public static List<File> getALLMemoryFile() { try { List<File> list = new ArrayList<File>(); Runtime runtime = Runtime.getRuntime(); Process proc = runtime.exec("mount"); InputStream is = proc.getInputStream(); InputStreamReader isr = new InputStreamReader(is); String line; String mount = new String(); BufferedReader br = new BufferedReader(isr); while ((line = br.readLine()) != null) { if (line.contains("secure")) continue; if (line.contains("asec")) continue; if (line.contains("fat")) { String columns[] = line.split(" "); if (columns != null && columns.length > 1) { mount = mount.concat(columns[1] + "*"); } } else if (line.contains("fuse")) { String columns[] = line.split(" "); if (columns != null && columns.length > 1) { mount = mount.concat(columns[1] + "*"); } } } String[] paths = mount.split("\\*"); for (String s : paths) { File f = new File(s); list.add(f); } return list; } catch (Exception e) { Log.e(TAG, "e.toString()=" + e.toString()); return null; } }... 全文

存储 android 内置外置存储器 Android2.3 rom

浅谈Exchange Server邮件存储系统

在了解了Exchange Server Store的工作方式和特点以后,我们接下来介绍一些邮件存储系统的管理技巧。管理员在掌握了原理以后会对这些技巧有更深刻地认识,在实际工作中做到胸有成竹、游刃有余。Exchange存储系统软硬件的选择和设计我们首先来看一下如何为Exchange Server的数据库文件和Log文件选择适当的磁盘硬件。根据上一期的文章中所阐述的Log文件对数据库恢复的作用,我们得知,当数据库损坏时,通过还原磁带上的备份和利用系统现有的日志文件,可以把数据库恢复到发生问题之前的一个状态。因此,数据库文件和日志文件需要存放在不同的物理磁盘之上,以防止磁盘硬件故障导致数据库和日志同时损坏。微软的文档中明确的指出,在存在有效备份的前提之下,数据库或日志两者中的任何一个发生损坏,都是可以恢复的。但是如果数据库和日志同时损坏,就只能通过还原备份来恢复到备份时刻的状态了。通常企业中重要的服务器存储系统一般都采用通过硬件系统来实现的RAID阵列。 常用的RAID系统有RAID 5和RAID 1。这两种的系统特点如下:RAID 5:向阵列中的磁盘写数据,奇偶校验数据存放在阵列中的各个盘上,允许单个磁盘出错。RAID 5也是以数据的校验位来保证数据的安全,但它不是以单独硬盘来存放数据的校验位,而是将数据段的校验位交互存放于各个硬盘上。这样任何一个硬盘损坏,都可以根据其它硬盘上的校验位来重建损坏的数据。硬盘的利用率为(n-1/n)%。RAID1 把磁盘阵列中的硬盘分成相同的两组,互为镜像,当任一磁盘介质出现故障时,可以利用其镜像上的数据恢复,从而提高系统的容错能力。对数据的操作仍采用分块后并行传输方式。所以RAID 1不仅提高了读写速度,也加强系统的可靠性。但其缺点是硬盘的利用率低,冗余度为50%。从上述的特点来看,RAID 5偏重于数据的安全性;RAID 1(镜像磁盘)在数据的安全得到保障的前提之下,强调了读写速度。下图是微软推荐的Exchange Store系统存储硬件需求。从中我们可以看出来,数据库文件(edb文件和stm文件)被置于RAID 5的系统之上;Log文件的存放是采用了每一个Storage Group一套RAID 1的策略。微软这样的设计,是为了充分的提升Exchange Store的性能。对于数据库文件,这些文件的尺寸往往非常的大,并且在日常的运行过程中,需要被非常频繁的读写。从安全的角度考虑,数据库文件的重要性要远远大过日志文件。因此,采用RAID 5系统保存数据文件,可以最大限度的保证文件的数据安全:在频繁的读写时,能通过校验位来保证数据不会发生错误;在磁盘硬件故障发生时,能够使系统不受影响。对于日志文件,请读者先回忆一下上一期中我们谈到的日志文件的作用:使内存中的事务尽快的写入到硬盘中。Exchange的日志文件,在不发生从备份磁带恢复的情况之下,终其一生,只会被写入一次,读取一次。写入的时候,是Exchange Server把内存中的数据写入到以5MB为单位的日志文件中,读取的时候,是Exchange Server把日志中的内容写入数据库时发生的。因此,我们可以发现,对于保存日志文件的磁盘系统,它的读写压力并不是非常的大,但是要求有非常快的写入速度。非常快的写入速度由两点来得到保证:第一,采用具有较快写入速度的RAID 1系统(相对于RAID 5,不需要计算校验位,这节省了大量的时间);第二,每一个Storage Group独占一个RAID 1系统(既该RAID 1阵列只用来保存特定的Storage Group的日志文件,别无它用),这样做,我们就把磁盘上的碎片数量降低到了最小的限度。理想情况下,日志文件每个扇区都是紧挨着的,磁盘在写数据时,不需要因为磁盘碎片的缘故而重新定位磁头,这最大的提高了写入的性能。在确定了磁盘的类型以后,我们需要为选用什么容量的磁盘进行规划。存放数据库文件的RAID 5系统的磁盘空间容量由实际的邮箱数量和邮箱的大小决定。但是,需要在这个基础留有一定的空余空间。我们以300个用户的企业为例,每个用户的邮箱大小是 100M。理论上,邮箱Store的空间占用量上限为300*100M,也就是30GB。其实不然,我们还需要考虑如下的因素:第一: Delete Item的保留时间。一般在Exchange Server上,我们都会设定删除的邮件在服务器上保留多少时间(Store->Limit->Deletion Settings)。这样做,可以方便用户把误删除的邮件恢复回来。Exchange Server的备份结构决定了恢复单独一封邮件是非常困难的,因此,设定Delete Item保留时间,有助于恢复误删除的信息。这个时间一般设定在15天到30天左右。我们需要注意,这样的设定一旦开启,所有删除掉的邮件都不会在数据库里马上被清除掉,因此这项设定会占用一定的磁盘空间。如果设定Delete Item的保留时间为15天,我们需要估算每个用户在这两周的时间内删除邮件的数量和尺寸,来做进一步的规划。如果设定为15天,保守的情况下,删除邮件数量是邮箱的30%至50%。通常这样的估算是不准确的,如果我们想掌握服务器上每一个邮箱的动态,可以使用一个名为“Quest Reports”的产品,这个基于网页的程序会给管理员提供每一个邮箱容量的详细动态报告。该公司的网址是:http://www.quest.com/messagestats/第二:数据库维护时所需要的空间。在我们进行Exchange Server数据库的离线碎片(Offline defrag)整理时,对于一个大小为20GB的数据库文件(edb文件加上stm文件),我们需要额外的20GB左右空间来存放整理过碎片的数据库文件。另外,当需要进行数据库修复时,通常我们都会在服务器上做一个备份,这些空间,也是需要考虑的。因此,存放数据库文件的RAID 5系统的容量,一般是邮箱数*用户数计算出来的容量的1.5至2倍。日志文件的磁盘空间大小,由进行全备份的周期决定(在进行全备份时,系统会自动清除日志文件)。如果企业每周进行一次全备份,那么日志文件磁盘的空间至少要能容纳一周之内产生日志文件(考虑到备份可能失败,磁带机故障等意外因素,这个容量还需要留有余地)。通常情况下,我们可以采用18GB的SCSI磁盘组成镜像阵列,然后根据日志文件的增长速度,来动态的调整全备份的时间。1 23下一页>>内容导航给力(0票)动心(0票)废话(0票)专业(0票)标题党(0票)路过(0票) getcountscom(13192,11); getcountscom(13192,12); getcountscom(13192,13); getcountscom(13192,14); getcountscom(13192,15); getcountscom(13192,16); ... 全文

存储

分布式对象存储

数据的产生及信息爆炸带来的挑战为了更清晰的认识我们所生存的环境,提高人际沟通效率,人们收集和创造了大量的数据,有些是对物理世界的客观描述,如原子和分子的组成,或是DNA螺旋结构;也包括烟波浩渺的宇宙中的星系和星云;亦或是人类对自身历史的记录;还有一些数据被用于人们相互沟通,如Facebook上每天新增数十亿条内容,或每天被发送的数千亿封邮件。... 全文

存储系统 华为

浅谈Exchange Server邮件存储系统

本文从数据库基本原理的角度入手,通过对Exchange Server Store模块的分析,来揭示Exchange Server邮件存储系统的工作原理和维护技巧。文章适合有一定Exchange Server管理经验的专业IT人员阅读,目的是使读者在维护Exchange Server邮件系统时,能够做到知其然,更知其所以然。Information Store和Extensible Storage Engine的层次关系众所周知,在Exchange Server中,Information Store (简称IS)Service是至关重要的。这个服务控制了对邮箱和公共文件夹数据库的操作请求。更进一步的来看,事实上Exchange Server的数据库系统是由名为Extensible Storage Engine(简称ESE)的数据库引擎来管理的。这个ESE引擎是微软专门为保存非关系型数据而开发的,在微软的很多系统中都有应用:例如,AD的数据库(ntds.dit文件)、Windows DHCP、Windows WINS、SRS等,后台都是由ESE数据库来提供支持的。我们知道,Exchange Server的数据库由edb文件、stm文件和众多的log文件组成。在这些文件内部,微软使用了名为“B+树”的内部数据结构,ESE引擎的任务之一,就是当Information Store服务请求访问数据库的时候,把这些请求转化成对内部数据结构的读写访问。B+树的特点是能够对存储在磁盘上的数据提供快速的访问能力。微软选用 B+树作为ESE后台结构的一个原因,就是尽可能提高访问数据时的I/O性能。这些B+树的结构对于Exchange Server Store服务来说是透明的,Store只需要把请求发给ESE即可,ESE会对这些数据结构进行操作。另外,作为一个数据库系统,ESE有责任提供事务(Transaction)级别操作的支持,并维护整个数据库的完整性和一致性。对于现代数据库系统,当我们提到事务时,一般用ACID这样的缩写来描述事务的特点:我们会在后面的篇幅中详细的讨论Exchange Server和ESE是怎样实现上述的要求的。对于Information Store Service来说,ESE封装了对数据库操作的所有细节,IS只要根据ESE提供的接口进行调用既可。在Exchange Server 2000中,IS服务对应的进程是store.exe,每一个Storage Group会在store.exe进程中产生一个ESE引擎的实例。Exchange Server 2000/2003 存储系统的新特点在微软发布Exchange Server 2000时,Exchange Server的存储系统得到了很大的更新和改进。从ESE引擎的角度来看,ESE的版本由5.5中的ESE97升级为ESE98,并且在如下方面得到了改进:1.I/O性能得到进一步的优化和提高2.对日志文件增加了计算校验和的操作,进一步降低了数据库出错的可能性3.提高了ESEUtil等维护工具的速度相比幕后的ESE引擎,Information Store方面的更新更加引人注意,例如:1.在每台Server上提供多个Storage Group和Store的支持,这是区别于5.5的最大特征之一2.数据库中stm流文件格式的引入,提高了操作Internet邮件的性能3.Web Storage System的引入,用户可以使用多种协议访问数据库EDB文件和STM文件的关系在Exchange Server 5.5中,数据库只有扩展名为edb的文件。在Exchange Server 5.5发布的时候,微软的重点还是企业内部的邮件传输系统,当时主推的协议是MAPI协议,这是微软的私有邮件协议,edb格式的数据库为此协议作了专门的优化。因此,Exchange Server 5.5为了支持Internet标准的SMTP邮件格式,必须在每次处理Internet邮件时将其转化为edb可以识别的格式,这样做带来的巨大的性能损失。在Exchange Server 2000中,微软加大了对Internet标准协议SMTP的支持力度。因此,适用于Internet格式邮件的存储就应运而生:这就是stm文件。MAPI格式的邮件是基于微软的RPC和二进制标准的,而Internet格式的邮件是由纯文本的邮件头和经过MIME编码的字符流组成的。这两者的特性就决定他们无法共存在一种数据库结构的文件中。因此,在Exchange Server 2000中,微软分别使用edb文件和stm文件保存这两种格式的邮件,并在edb和stm文件之间建立了关联和引用。对于用户来说,他的邮箱内容实际上是由跨越了edb和stm文件中的内容共同组成的。值得一提的是,edb文件中除了实际的信件信息以外,还保存了每个用户的邮箱结构、每一个文件夹的内容列表和视图等信息。这是区别于stm中只保存字符流的地方。我们分下面几种情况讨论edb和stm文件的使用:1.用户使用Outlook 以MAPI协议的方式和发送和访问邮件2.用户使用 SMTP/POP3等Internet协议访问Exchange Server。情景一:当邮件从MAPI协议的客户端(通常是Microsoft Office中的Outlook)提交到数据库后,邮件内容被保存在edb文件中。当用户通过MAPI协议的客户端对邮箱中的邮件进行读取访问时,如果请求的邮件是保存在edb文件中的,那么信件被直接打开后返回给用户。如果被请求的信件保存在stm文件中(此信件是SMTP格式的),那么,Exchange Server数据库引擎首先会做一个转换,把stm文件中的数据格式转换成MAPI可以识别的格式,然后再发送给客户端。这个过程称之为“On- demand Conversion”。情景二:用户使用SMTP/POP3客户端(如Outlook Express, FoxMail等)跟邮箱连接。当SMTP协议向Exchange Server提交邮件时,邮件的内容被保存在stm文件中。前面提到过,edb文件中包含了用户邮箱的文件夹和信件内容列表,因此,当邮件被保存到stm 文件后,数据库引擎把这封邮件的一些重要信息(通常是邮件头中的内容和信件在stm文件中的位置)提取出来,保存到edb文件,这个过程称之为 “Property Promotion”。正是有了这个过程,用户才可以得到信箱内容的完整列表,MAPI客户端需要访问位于stm文件中的邮件时,由此能够得到stm文件中信件的正确保存位置。当用户使用POP3协议来读取邮件时,如果被访问的邮件位于edb文件中,同样,一个从MAPI到Internet格式的转化(“ On-demand Conversion”)也会在后台悄悄的发生。通过上面的描述,我们知道在实际的Exchange Server环境中,这两个文件是紧密关联的。在任何时候都不要单独的操作这两个文件,要始终把他们视为一个整体。edb文件中包含了每一个邮箱的内容列表(store tables),当客户端需要得到文件夹的内容时,都必须向edb文件发出请求。两种格式的文件,对两种类型的协议分别提供了支持,有效的减少了不必要的格式转换的发生。1 23下一页>>内容导航给力(0票)动心(0票)废话(0票)专业(0票)标题党(0票)路过(0票) getcountscom(13190,11); getcountscom(13190,12); getcountscom(13190,13); getcountscom(13190,14); getcountscom(13190,15); getcountscom(13190,16); ... 全文

存储

1 2 3 4 5 6 7