猜您喜欢::装修房子感悟心情短语(装修心情感悟) 扎头发的橡皮筋叫什么(橡皮筋扎发) 储能热管理是什么意思-储能系统热管理定义 如何查社会保险-查询社保参保 外事管理专业介绍(外事管理专业介绍) 孔板的流量计工作原理(孔板流量计原理) 如何查飞机到哪了-飞机定位查询 专业教育与介绍讲座听后感-专业讲座听后感 防火卷帘门多少钱一个-防火卷帘门价格多少 深圳什么搬家公司最好-深圳搬家公司推荐
g 是他的亲哥,hdfs 就是他们的老大哥。在咱们云原生大场景里,k8s 是那个负责给应用发命令的,它忒招架不住那些大流量,还得有个人来扛扛扛。这扛扛扛的人就是 hdfs,那会儿叫mapreduce,后来改名了,实际上就是个专门负责存东西的伙计。它不像 k8s 那样整天盯着代码跑得快慢,它是那根在地上打桩的柱子,不管云如何变,这根柱子一辈子立在那儿,等着别人往上面搭房子。 大量人一上来就拿 k8s 和 hdfs 比,认定 k8s 才是王道,毕竟它是整个云时代的皇冠。
这话没错,但它确实有点“忒智慧”了。k8s 这哥们儿,也就是那个著名的 K8s,咱们常把它比作 Kubernetes。它天生会跑,自带一套魔法,能自动运维,能自动扩容,就连还能自动滚动更新。
这就好比一个训练有素的教练,能自己指挥手下训练,还自带装备。你手里拿个 k8s 管住器,就能搞定大局部事件,不用自己手动去管一堆服务死活。 hdfs 呢,那就像是个沉默寡言的老矿工。它没有那些花里胡哨的自动运维功能,它只干一件事:存东西。并且存得多,并且稳。
那会儿硬盘也就那么大,数据量大了自然就难,便设计了分层存,底层用快硬盘,表层用便宜硬盘,如何换也不心疼。hdfs 就是那个把数据铺到海量硬盘上的大胡子,它懒得出奇,就连懒得告诉你它是如何存的,但数据确确实实都躺在地上,哪位也抢不走。 如此说可能有点抽象,咱得用个具体的例子。假设咱们有个互联网公司,每天形成几 PB 的业务日志数据。
这时候要是用纯数据库做,那简直是灾难,加个索引都得半小时,还得维护索引,运维成本忒高。
那就用 hdfs,它就是个超大仓库。你能够把这几个 PB 数据扔进去,它自己就会思索:“哦,这些数据量忒大了,得用 HDFS 文件系统。”然后它自动把数据切分,分片,均匀地铺到集群里的几百台机器上。你要是想查某个用户的历史行为,它就能从几百块硬盘里找一找,瞬间给你出来。你要是想加个索引?hdfs 都不给你机会,它只管存,不管做索引,索引任务那是另外的伙计才负责的。 这就是 hdfs 的哲学:分工。k8s 负责指挥,协调流量,处理故障,它是软件世界的指挥官;hdfs 负责存,负责数据,它是软件世界的仓库管理员。任何软件,要是只懂指挥不懂存,那就像是一个只会喊口号的队长,队伍上来了随时散伙;要是只懂存不懂指挥,那就像是个不知疲倦的仓库管理员,货物堆了也管不了物流。
只有两者配合,才能在这个复杂的云世界里把数据保险地存有,把服务流畅地跑起来。 再说说它的优缺点。优点嘛,就是稳。数据丢了,hdfs 一般能赔的起,出于它有副本机制,多份数据在多台机器上,一台挂了还能恢复。并且它的数据模型就是面向文件的,这就好比你买磁带录像机,数据就是一个个文件,存取撇脱。缺点也是明显的,就是它挺“笨”。它不赞成数据库级别的复杂查询,要是你想做复杂的关联分析、多表 JOIN,你得用 Spark 要么 other 工具在文件上跑。它也不赞成像 K8s 那样东一窗西一窗快速扩缩容,它的资源调度是离散的,你得自己要么用一些调度器来安排。 故此,当你看到 K8s 和 HDFS 出目前一起时,千万别紧张。
那是正常的,就像你在超市看到牛奶和白糖。K8s 负责把应用程序编排起来,让它们在容器里跑得欢天喜地;HDFS 负责把这些应用程序形成的海量日志、配置、中间件数据存起来,保证它们不丢失,能随时调用。它们不是竞争对手,而是生态系统里不可或缺的互补角色。 最终,咱们回到那个难题。HDFS 这个品牌是哪位发明的?它是 MapReduce 项目标一局部,由 Intel 公司发起的,后来被命名为 Hadoop。它最早是为了处理大数据而生的,后来随着技术的演变,Hadoop 这个框架被拆分成好多块,HDFS 就是其中一块,也是整个 Hadoop 生态里最核心、最基础的那一块。它没有 K8s 那么漂亮,没有 Kubernetes 那么智能化,但它确实是最实在的那块砖,是云上存数字世界的基石。




