隨著基于Hadoop平臺(tái)的大數(shù)據(jù)技術(shù)的不斷發(fā)展和實(shí)踐的深入，Hadoop YARN資源調(diào)度策略在異構(gòu)集群中的不適用性越發(fā)明顯。一方面，節(jié)點(diǎn)資源無(wú)法動(dòng)態(tài)分配，導(dǎo)致優(yōu)勢(shì)節(jié)點(diǎn)的計(jì)算資源浪費(fèi)、系統(tǒng)性能沒(méi)有充分發(fā)揮；另一方面，現(xiàn)有的靜態(tài)資源分配策略未考慮作業(yè)在不同執(zhí)行階段的差異，易產(chǎn)生大量資源碎片?；谝陨蠁?wèn)題，提出了一種負(fù)載自適應(yīng)調(diào)度策略。監(jiān)控集群執(zhí)行節(jié)點(diǎn)和提交作業(yè)的性能信息，利用實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)建模、量化節(jié)點(diǎn)的綜合計(jì)算能力，結(jié)合節(jié)點(diǎn)和作業(yè)的性能信息在調(diào)度器上啟動(dòng)基于相似度評(píng)估的動(dòng)態(tài)資源調(diào)度方案。優(yōu)化后的系統(tǒng)能夠有效識(shí)別集群節(jié)點(diǎn)的執(zhí)行能力差異，并根據(jù)作業(yè)任務(wù)的實(shí)時(shí)需求進(jìn)行細(xì)粒度的動(dòng)態(tài)資源調(diào)度，在完善YARN現(xiàn)有調(diào)度語(yǔ)義的同時(shí)，可作為子級(jí)資源調(diào)度方案架構(gòu)在上層調(diào)度器下。在Hadoop 2．O上實(shí)現(xiàn)并測(cè)試該策略，實(shí)驗(yàn)結(jié)果表明，作業(yè)的自適應(yīng)資源調(diào)度策略顯著提高了資源利用率，集群并發(fā)度提高了2到3倍，時(shí)間性能提升了近10%。