国语自产精品视频在线看:您身边最放心的安全下载站! 最新软件|热门排行|软件分类|软件专题|厂商大全

国语自产精品视频在线看

技术教程
您的位置:首页服务器类Web服务器 → 当前比较适用的海量小文件系统架构方案

当前比较适用的海量小文件系统架构方案

我要评论 2009/05/24 00:34:36 来源:国语自产精品视频在线看 编辑:编辑整理 [ ] 评论:0 点击:433次

现在的🌧网站越做越大了【le】,存储的东西越来越多【lái yuè duō】,如何解决这些文件存【wén jiàn cún】✴储也成📐了新的【le xīn de】难题📋。如果把【rú guǒ bǎ】这些文件都完🚭全采用🤱大硬盘【dà yìng pán】🃏存储来🈴解决,并不是一个好【yī gè hǎo】🌥主意,因为数据量越💞大风险就越高,虽然文件能存得下,但是故🕳障率相应会较【yīng huì jiào】🛷高,另外重【lìng wài chóng】建耗费【jiàn hào fèi】时间也比较长👟。所以最【suǒ yǐ zuì】好的办【hǎo de bàn】法是尽【fǎ shì jìn】可能考虑分布式存储⛓,把文件【bǎ wén jiàn】想办法利用网络分散🤔到多个机器上【jī qì shàng】。

从我所【cóng wǒ suǒ】🔖了解的存储结👽构来看🥟,分布式存储大【cún chǔ dà】致可以【zhì kě yǐ】分为几种:

1、类googlefs的分布式文件系统

因为目🌘前googlefs没有开源,所以网【suǒ yǐ wǎng】🚧上出现的【xiàn de】分布式文件【shì wén jiàn】系统都😛是利用🕌google的方案自行实🎣现的【xiàn de】。这个方案的优【àn de yōu】🌘点是可用性比【yòng xìng bǐ】较高🤣,基本上【jī běn shàng】基于硬盘的应用都可以处理【yǐ chù lǐ】🐋,可用范【kě yòng fàn】围就比较广泛。我看了🕣gfs、gfs2、ocfs2、FastDFS、MogileFS的一些相关介绍【shào】,大致有【dà zhì yǒu】😩一些认识。

首先是文档比【wén dàng bǐ】较少而出现的【chū xiàn de】问题倒不少;然后是目前这📦些还没有一个【yǒu yī gè】能称得【néng chēng dé】🔉上是稳【shàng shì wěn】📠定版本【bǎn běn】😊,如果有🆎的话,估计也🚾就是其【jiù shì qí】中一些收费的版本【bǎn běn】。因为磁盘存储乃是致🚇关重要,所以目前建议🔐还是不【hái shì bú】🔥要轻易【yào qīng yì】把这些【bǎ zhè xiē】东西部【dōng xī bù】署到重【shǔ dào chóng】要的地方。假如非【jiǎ rú fēi】🍝常想使【cháng xiǎng shǐ】🧙用的话【yòng de huà】🐓,最好是做好充分测试,确保它的功能💄完全能够满足【gòu mǎn zú】需要;然后还【rán hòu hái】🌯要想办法在传统的文😴件系统中做好😷完全的备份,以免造🎩成损失。

另外可🌌以提的【yǐ tí de】一个东⏺西是memcached,这个东【zhè gè dōng】西实现了内存【le nèi cún】🌱的分布🧕式共享🐓,稳定度貌似比以上这【yǐ shàng zhè】些分布式文件【shì wén jiàn】系统要【xì tǒng yào】稳定。不过是💍完全基于内存🐄的,如果数【rú guǒ shù】据量不是很大【shì hěn dà】,可以一🚘试。

2、手工使用文件路径分散存储

这个结【zhè gè jié】构通常【gòu tōng cháng】使用在🎡web静态文件中🧙,就以这🙎种情形【zhǒng qíng xíng】作为例子。

如果这【rú guǒ zhè】👜些文件🧗数量比较大,可以通📇过分散【guò fèn sàn】文件路【wén jiàn lù】径🎼,把某个文件的🛥访问指【fǎng wèn zhǐ】定到特【dìng dào tè】定的一台或几台服务器上💅。例如【lì rú】:

1)采用域名的分散策略

例如使用【yòng】🐭a.xxx.com/b.xxx.com...来区分标记为a或b的一系列文件【liè wén jiàn】🕉,这些文🎽件存储🎬的时候,依然按【yī rán àn】照标记,存到a或b的服务器上【qì shàng】👕。这个策【zhè gè cè】略将区🤨分机器【fèn jī qì】👟的任务交由dns服务器来执行,扩容时会相应轻松【qīng sōng】。这需要👹web项目初期就规【qī jiù guī】划好这【huá hǎo zhè】些东东,后期才转用【yòng】域📒名策略【míng cè luè】📕的成本比较高【bǐ jiào gāo】甚至不⬛可以实【kě yǐ shí】现🔞。

2)采用目录的分散策略

假如域名初期并没有规划使用域名策略,那么可🚱以采用【yǐ cǎi yòng】代理服务器来进行目录【lù】⛹级的划【jí de huá】分🔈。比如一😬般存储大量文【dà liàng wén】🐎件时【jiàn shí】,因为文件系统的限制以及效【yǐ jí xiào】率问题【wèn tí】⚡,都会按【dōu huì àn】照一定🎀规则划【guī zé huá】分🔈了很多级的目录【lù】⛹,按这些【àn zhè xiē】目录【lù】⛹拆分机器也并【qì yě bìng】不是困【bú shì kùn】难🎃的事情。这种架构的问题【wèn tí】⚡在于代理服务器的⚫性能和🏥可靠性🏥问题【wèn tí】⚡,需要在这点上【zhè diǎn shàng】稍下一【shāo xià yī】点功夫🕍。

以上这🏳两个方案【àn】,都要自行制定【háng zhì dìng】策略实【cè luè shí】现分散【xiàn fèn sàn】同步传输🍛,传输一🖊般可以归纳为🍣推送和【tuī sòng hé】抓取两种办法,同步的【tóng bù de】话【huà】可以采【kě yǐ cǎi】🚩用【yòng】😉日志【rì zhì】同步(把要同步的【tóng bù de】数🚄据记入🎒日志【rì zhì】,通过日🖐志记录来传输👘相应文👴件)、比较同步(使用【shǐ yòng】🆕rsync等同步软件🐒)或🆗即时同步(有新的修改就立刻传【lì kè chuán】输🍛);另外要㊙实现单点故障🤒剔除的话【huà】,首先找一个策【yī gè cè】⛰略把文【luè bǎ wén】件存储到多个【dào duō gè】📢节点上【jiē diǎn shàng】,例如【lì rú】,a.xxx.com或目录⭐a的文件相应也存到b和【hé】c节点;然后在【rán hòu zài】🙏环境中【huán jìng zhōng】使用【shǐ yòng】🆕故障剔除技术【chú jì shù】🕣(lvs或🆗nginx等),就可以【jiù kě yǐ】解决问【jiě jué wèn】题🍐,例如【lì rú】:采用【cǎi yòng】😉域名的话【huà】🚯,可以采【kě yǐ cǎi】🚩用【yòng】😉lvs,缺点是使用【shǐ yòng】🆕的机器【qì】就会成【jiù huì chéng】倍👅增加【zēng jiā】;亦可再用【yòng】😉一级代理服务器【qì】🎯,缺点是会牺牲性能【xìng néng】。采用【cǎi yòng】😉目录的话【huà】,因为本♊身就用【yòng】😉到了代理服务器【qì】🎯,所以只【suǒ yǐ zhī】👟要存储【yào cún chǔ】🐅得当🃏,实现比较容易。

关键词:系统架构

阅读本文后您有什么感想? 已有 人给出评价!

  • 1 欢迎喜欢
  • 1 白痴
  • 1 拜托
  • 1 哇
  • 1 加油
  • 1 鄙视