由于集群內部的松耦合方式以及資源分布的特點,對其日常維護管理提出了較高的要求。作為用戶,不必知道集群的基礎系統結構就可以有效的使用這些機器。無論是否遠程,都可以透明地訪問系統資源、提交任務。整個系統應當具備良好的可用性和可擴展性。這就需要在集群硬件系統之上建立一個管理系統——集群管理系統,負責管理集群、實現集群功能,讓用戶在使用集群時就像在使用一臺計算機一樣。集群管理系統能夠實現集群功能并且管理整個系統,是集群必不可少的軟件支持,也是集群技術的集中體現。
當集群在虛擬化基礎架構中,虛擬化管理程序負責加強共享、隔離吵鬧的鄰居、動態遷移和/或重新啟動受影響,甚至突然飆升的工作負載,還扮演交警的角色。這幾年我們發現了該領域的長足進步,可以在虛擬機層面和虛擬存儲卷級別(如VMware VVOL)上,動態執行用戶指定的服務質量(QoS)。 有效的集群管理設計對大數據尤其重要,這關系到引入企業IT規模擴展的HPC技術。Hadoop、Spark和其他可擴展NoSQL工具旨在讓所有人都實現分布式處理。然而,生產大數據應用程序目前要求應用程序性能的一致性。當大數據應用支撐著關鍵業務流程時,運營與性能的可靠性和穩定性將成為問題。
在種類繁多的大數據工具如Hadoop集群,每個大數據作業都爭奪相同的資源。到目前為止,很多Hadoop集群只是簡單處理小型單一的大數據處理流程或只對小部分用戶服務,通常用于非生產環境的數據科學。但隨著大數據集群移入生成環境,就意味著它們需要承載更多的任務并且服務多個租戶——就如大型虛擬化或云集群。而當這種集群被共享,管理大數據將成為一大挑戰。經??吹叫碌拇髷祿汗芾砗筒僮鞣桨覆⒉幌∑?。集群管理工具一般分為幾類。起步于高性能計算領域的Bright Computing公司,現在正協助企業從裸機上部署、配置與管理大型集群。 但真正的關鍵在于性能管理,秘訣在于了解都是誰,以及在什么時候做什么事。至少,還有標準的工具可以從集群的日志文件(通常十分巨大)中生成報告。但隨著日志的增長,這個方法的效果會降低。而且當談及運營性能,真正要做的實際上是優化混合租戶與混合工作負載環境的QoS和運行時。例如,Pepperdata能生成實時運行視圖,展示集群里正在發生什么,然后可以動態的控制和分配集群資源。這樣可以保證優先級應用程序滿足服務器級別協議,同時最小化集群基礎設施的規模。
在更高的級別,大數據需要有自己專屬的應用程序性能管理程序。例子之一是Concurrent的Driven,可以跟蹤和回溯應用程序執行軌跡,還可以直接監控業務流程和應用程序級的工作流,應用程序之間的內部依賴、運行時和失敗。這樣有助于識別代碼瓶頸,規劃和修復工作流執行窗口,并協助數據管理。隨著橫向擴展架構在數據中心內落地,集群管理工具的價值將增長——降低資源共享所需的資本支出,同時保障承諾性能和其他大數據處理業務的QoS。在某些情況下,IT沒有這些集群專用工具協助,是可能無法有效處理這些大數據集群的。
上一篇:理解虛擬機感知存儲
下一篇:智能照明營造節能舒適生活環境
由于集群內部的松耦合方式以及資源分布的特點,對其日常維護管理提出了較高的要求。作為用戶,不必知道集群的基礎系統結構就可以有效的使用這些機器。無論是否遠程,都可以透明地訪問系統資源、提交任務。整個系統應當具備良好的可用性和可擴展性。這就需要在集群硬件系統之上建立一個管理系統——集群管理系統,負責管理集群、實現集群功能,讓用戶在使用集群時就像在使用一臺計算機一樣。集群管理系統能夠實現集群功能并且管理整個系統,是集群必不可少的軟件支持,也是集群技術的集中體現。
當集群在虛擬化基礎架構中,虛擬化管理程序負責加強共享、隔離吵鬧的鄰居、動態遷移和/或重新啟動受影響,甚至突然飆升的工作負載,還扮演交警的角色。這幾年我們發現了該領域的長足進步,可以在虛擬機層面和虛擬存儲卷級別(如VMware VVOL)上,動態執行用戶指定的服務質量(QoS)。 有效的集群管理設計對大數據尤其重要,這關系到引入企業IT規模擴展的HPC技術。Hadoop、Spark和其他可擴展NoSQL工具旨在讓所有人都實現分布式處理。然而,生產大數據應用程序目前要求應用程序性能的一致性。當大數據應用支撐著關鍵業務流程時,運營與性能的可靠性和穩定性將成為問題。
在種類繁多的大數據工具如Hadoop集群,每個大數據作業都爭奪相同的資源。到目前為止,很多Hadoop集群只是簡單處理小型單一的大數據處理流程或只對小部分用戶服務,通常用于非生產環境的數據科學。但隨著大數據集群移入生成環境,就意味著它們需要承載更多的任務并且服務多個租戶——就如大型虛擬化或云集群。而當這種集群被共享,管理大數據將成為一大挑戰。經??吹叫碌拇髷祿汗芾砗筒僮鞣桨覆⒉幌∑?。集群管理工具一般分為幾類。起步于高性能計算領域的Bright Computing公司,現在正協助企業從裸機上部署、配置與管理大型集群。 但真正的關鍵在于性能管理,秘訣在于了解都是誰,以及在什么時候做什么事。至少,還有標準的工具可以從集群的日志文件(通常十分巨大)中生成報告。但隨著日志的增長,這個方法的效果會降低。而且當談及運營性能,真正要做的實際上是優化混合租戶與混合工作負載環境的QoS和運行時。例如,Pepperdata能生成實時運行視圖,展示集群里正在發生什么,然后可以動態的控制和分配集群資源。這樣可以保證優先級應用程序滿足服務器級別協議,同時最小化集群基礎設施的規模。
在更高的級別,大數據需要有自己專屬的應用程序性能管理程序。例子之一是Concurrent的Driven,可以跟蹤和回溯應用程序執行軌跡,還可以直接監控業務流程和應用程序級的工作流,應用程序之間的內部依賴、運行時和失敗。這樣有助于識別代碼瓶頸,規劃和修復工作流執行窗口,并協助數據管理。隨著橫向擴展架構在數據中心內落地,集群管理工具的價值將增長——降低資源共享所需的資本支出,同時保障承諾性能和其他大數據處理業務的QoS。在某些情況下,IT沒有這些集群專用工具協助,是可能無法有效處理這些大數據集群的。
上一篇:理解虛擬機感知存儲
下一篇:智能照明營造節能舒適生活環境
