鍩轰簬绉嶇兢鐨勫�鏅鸿兘浣撴繁搴﹀己鍖栧�涔狅紙PB-MARL锛夋柟娉曞湪鏄熼檯浜夐湼銆佺帇鑰呰崳鑰€绛夋父鎴廇I涓婂凡缁忓緱鍒版垚鍔熼獙璇侊紝MALib 鍒欐槸棣栦釜涓撻棬闈㈠悜 PB-MARL 鐨勫紑婧愬ぇ瑙勬ā骞惰�璁�粌妗嗘灦銆侻ALib 鏀�寔涓板瘜鐨勭�缇よ�缁冩柟寮忥紙渚嬪�锛宻elf-play, PSRO, league training)锛屽苟涓斿疄鐜板拰浼樺寲浜嗗父瑙佸�鏅鸿兘浣撴繁搴﹀己鍖栧�涔犵畻娉曪紝涓虹爺绌朵汉鍛橀檷浣庡苟琛屽寲宸ヤ綔閲忕殑鍚屾椂锛屽ぇ骞呮彁鍗囦簡璁�粌鏁堢巼銆傛�澶栵紝MALib 鍩轰簬 Ray 鐨勫簳灞傚垎甯冨紡妗嗘灦锛屽疄鐜颁簡鍏ㄦ柊鐨勪腑蹇冨寲浠诲姟鍒嗗彂妯″瀷锛岀浉杈冧簬甯歌�鐨勫�鏅鸿兘浣撳己鍖栧�涔犺�缁冩�鏋讹紙RLlib锛孭yMARL锛孫penSpiel锛夛紝鐩稿悓纭�欢鏉′欢涓嬪悶鍚愰噺鍜岃�缁冮€熷害鏈夌潃鏁板€嶇殑鎻愬崌銆傜幇闃舵�锛孧ALib 宸插�鎺ュ父瑙佸�鏅鸿兘浣撶幆澧冿紙鏄熼檯浜夐湼銆佽胺姝岃冻鐞冦€佹�鐗岀被銆佸�浜� Atari 绛夛涓婃級锛屽悗缁�皢杩涗竴姝ユ彁渚涘�鑷�姩椹鹃┒銆佹櫤鑳界數缃戠瓑鍦烘櫙鐨勬敮鎸併€�

椤圭洰涓婚〉锛歨ttps://malib.io銆�

鍦ㄦ繁搴﹀�涔犻�鍩燂紝绠楀姏浠庢潵閮芥槸鎴戜滑鍏冲績鐨勪竴涓�噸鐐癸紝涔熸槸褰卞搷浜哄伐鏅鸿兘绠楁硶钀藉湴鐨勪竴涓�叧閿�洜绱犮€傚湪寰堝�搴旂敤鍦烘櫙閲岄潰锛岃冻澶熺殑绠楀姏鏀�寔鍙�互鏄捐憲鍔犲揩绠楁硶浠庢彁鍑恒€佽�缁冨埌钀藉湴鐨勬晥鐜囷紝鍍忔槸 OpenAI Five 鐨勪嚎绾у弬鏁伴噺鐨勪娇鐢�紝鍏舵瘡澶╃殑 GPU 璁＄畻鐢ㄩ噺鍦� 770卤50~820卤50 PFlops/s銆傝€屽湪娣卞害寮哄寲瀛︿範棰嗗煙锛岄殢鐫€搴旂敤鍦烘櫙浠庡崟鏅鸿兘浣撴墿灞曞埌澶氭櫤鑳戒綋锛岀畻娉曠殑姹傝В澶嶆潅搴︿篃鍛堢幇鎸囨暟绾у�闀匡紝杩欎篃瀵圭畻鍔涜�姹傛彁鍑轰簡鏂扮殑鎸戞垬锛岃�姹傛洿澶氱殑璁＄畻璧勬簮鑳藉�琚�皟鐢ㄣ€傜壒鍒�槸褰撴墍瑕佸�鐞嗙殑闂��瑙勬ā锛屾秹鍙婄殑鏅鸿兘浣撴暟閲忚緝澶氭椂锛屽崟鏈鸿�缁冪畻娉曠殑鍙��搴︽樉钁椾笅闄嶃€�

澶氭櫤鑳戒綋寮哄寲瀛︿範瑕佽В捣浜鍐崇兢浣撴櫤鑳界浉鍏崇殑闂��锛屽叾鐮旂┒寰€寰€娑夊強缇や綋鍐呮櫤鑳戒綋涔嬮棿鐨勫崗浣滀笌瀵规姉銆傜洰鍓嶅凡鏈変紬澶氱幇瀹炰换鍔″簲鐢ㄦ秹鍙婂ぇ瑙勬ā鏅鸿兘浣撳拰澶嶆潅澶氭牱鍖栦氦浜掞紝渚嬪�浜虹兢妯℃嫙銆佽嚜鍔ㄩ┚椹朵互鍙婂啗浜嬪満鏅�腑鐨勬棤浜烘満闆嗙兢鎺у埗锛�

浜虹兢妯℃嫙()銆�

鑷�姩椹鹃┒锛坔ttps://github.com/huawei-noah/SMARTS/blob/master/docs/_static/smarts_envision.gif锛夈€�

鏃犱汉鏈洪泦缇�()銆�

鍦ㄧ畻娉曟柟闈�紝瑙ｅ喅姝ょ被缇や綋闂��鐨勪竴涓�噸瑕佺殑閫斿緞鏄�熀浜庣兢浣撶殑澶氭櫤鑳戒綋寮哄寲瀛︿範鏂规硶锛屼篃鏄� MALib 鐩�墠闃舵�鐨勯噸鐐圭瀯鍑嗘柟鍚戙€傚熀浜庣兢浣撶殑澶氭櫤鑳戒綋寮哄寲瀛︿範锛圥opulation-based MARL, PB-MARL锛夋秹鍙婂�涓�瓥鐣ラ泦鍚堜氦浜掗棶棰橈紝涓嬪浘灞曠ず浜嗛€氬父鎰忎箟涓婂熀浜庣兢浣撶殑澶氭櫤鑳戒綋寮哄寲瀛︿範绠楁硶鐨勪富瑕佹祦绋嬨€ゅぇ侾B-MARL 绠楁硶鏄�粨鍚堜簡娣卞害寮哄寲瀛︿範鍜屽姩鎬佺�缇ら€夋嫨鏂规硶锛堜緥濡傦紝鍗氬紙璁猴紝杩涘寲绛栫暐锛変互鑷�姩鎷撳睍绛栫暐闆嗐€侾B-MARL 鑳藉�浠ユ�涓嶆柇浜х敓鏂扮殑鏅鸿兘锛屽洜鑰屽湪涓€浜涘�鏉備换鍔′笂閮藉彇寰椾簡涓嶉敊鐨勬晥鏋滐紝濡傚疄鏃跺喅绛栨父鎴� Dota2 銆丼trarCraftII锛屼互鍙婄焊鐗屼换鍔� Leduc Poker銆備絾鍦ㄥ疄闄呴棶棰樹腑锛岀洰鍓嶇殑澶氭櫤鑳戒綋寮哄寲瀛︿範绠楁硶涓庡簲鐢ㄥ皻鏈夊樊璺濓紝涓€涓�簾寰呰В鍐崇殑闂��渚挎槸绠楁硶鍦ㄥぇ瑙勬ā鍦烘櫙涓嬬殑璁�粌鏁堢巼銆傜敱浜庣�缇ょ畻娉曞唴鍦ㄨ€﹀悎浜嗗�鏅鸿兘浣撶畻娉曪紝鑷翠娇鍏惰�缁冭繃绋嬪�鏁版嵁鐨勯渶姹傞噺鏋佸ぇ锛屽洜鑰屼篃闇€瑕佷竴涓�伒娲汇€佸彲鎵╁睍鐨勮�缁冩�鏋舵潵淇濊瘉鍏舵湁鏁堟€с€�

濡備綍鎻愰珮绠楁硶璁�粌鏁堢巼锛熷�浜庝緷璧栨繁搴﹀�涔犳妧鏈�殑寰堝�棰嗗煙锛屽湪闈�复浠诲姟瑙勬ā鍙樺ぇ锛屾ā鍨嬪弬鏁板彉澶氱殑鎯呭喌涓嬶紝閮介渶瑕佸紩鍏ラ�澶栫殑鎶€鏈�潵鎻愰珮璁�粌鏁堢寮€巼銆傚垎甯冨紡璁＄畻鏄�竴涓�渶鐩存帴鑰冭檻鐨勬柟娉曪紝閫氳繃澶氳繘绋嬫垨鑰呭�鏈虹殑鏂瑰紡锛屾彁楂樼畻娉曞�璁＄畻璧勬簮鐨勪娇鐢ㄦ晥鐜囦粠鑰屾彁鍗囩畻娉曡�缁冩晥鐜囥€傝€屽垎甯冨紡鎶€鏈�湪娣卞害寮哄寲瀛︿範棰嗗煙鐨勫簲鐢�紝涔熷偓鐢熶簡鍒嗗竷寮忔繁搴﹀己鍖栧�涔犺繖涓��鍩熺殑浜х敓锛屽叾鐮旂┒鐨勯噸鐐瑰寘鎷��绠楁�鏋剁殑璁捐�锛屼互鍙婂ぇ瑙勬ā鍒嗗竷寮忓己鍖栧�涔犵畻娉曠殑寮€鍙戙€�

杩戝勾鏉ワ紝涓轰簡鏇村ソ鍦拌繘琛屽ぇ瑙勬ā娣卞害寮哄寲瀛︿範绠楁硶鐨勮�缁冿紝鐮旂┒浜哄憳鍙戝睍浜嗘洿鍔犱笓鐢ㄧ殑璁�粌妗嗘灦锛岄€氳繃鍦ㄧ畻娉曟帴鍙ｅ拰绯荤粺璁捐�涓婅繘琛屾娊璞★紝鏉ユ敮鎸佹洿涓哄�鏉傜殑瀹炴椂鏁版嵁閲囨牱銆佹ā鍨嬭�缁冨拰鎺ㄧ悊闇€姹傘€傜劧鑰岋紝鍒嗗竷寮忓己鍖栧�涔犳妧鏈�殑鍙戝睍浼间箮杩樻湭瑙﹀強缇や綋鏅鸿兘杩欎竴闂��銆傚疄闄呬笂锛岀幇鏈夊垎甯冨紡寮哄寲瀛︿範妗嗘灦瀵逛簬涓€鑸��鏅鸿兘浣撳己鍖栧�涔犵畻娉曠殑鍒嗗竷寮忚�绠楁敮鎸佹槸瀹屽叏涓嶅�鐨勶紝鍍� RLlib銆丼am婧愯ple-Factory銆丼EED RL 杩欐牱鐨勫吀鍨嬪垎甯冨紡寮哄寲瀛︿範妗嗘灦锛屽湪璁捐�妯″紡涓婇兘鏄�皢澶氭櫤鑳戒綋浠诲姟褰撲綔鍗曟櫤鑳戒綋浠诲姟鏉ュ�鐞嗭紝鑰屽拷鐣ヤ簡澶氭櫤鑳戒綋绠楁硶涔嬮棿鐨勫紓鏋勬€с€傚�浜庡叾浠栧己璋冩櫤鑳戒綋浜や簰鐨勫�涔犺寖寮忥紝濡備腑蹇冨寲璁�粌锛坈entralized training锛夈€佸熀浜庣綉缁滅殑鍒嗗竷寮忕畻娉曚互鍙婂甫鏈夐€氫俊鍔熻兘鐨勫崗浣滄€х畻娉曢兘娌℃湁杩涜�鏄惧紡鏀�寔锛岀己涔忓�搴旂殑缁熶竴鎺ュ彛鏉ョ畝鍖栫畻娉曞疄鐜板拰璁�粌娴佺▼銆傚洜姝わ紝鐮旂┒浜哄憳鎯宠�杩涜�鏇村�绫诲瀷澶氭櫤鑳戒綋寮哄寲瀛︿範绠楁硶鐨勫垎甯冨紡璁�粌鎺㈢储鏃讹紝寰€寰€闇€瑕佽繘琛屽ぇ閲忛�澶栫殑缂栫爜宸ヤ綔銆傝€屽�浜庡�鏅鸿兘浣撳己鍖栧�涔犵畻娉曟�鏋舵柟闈㈢殑鍙戝睍锛岀幇鏈夌殑宸ヤ綔鏇村�鑱氱劍鍦ㄧ畻娉曞疄鐜帮紝骞朵笉澶�敞閲嶇畻娉曞湪澶ц�妯″満鏅�笅鐨勬墿灞曟€э紝鎴栬€呮洿澶氱殑鏄�笓涓烘煇浜涘満鏅��璁＄殑绠楁硶搴擄紝鍍� PyMARL銆丼MAR�缁TS 杩欐牱鐨勬�鏋讹紝鍏朵綔鐢ㄦ洿鍋忓悜浜庢湇鍔′笓闂ㄩ�鍩熷唴鐨� benchmark锛屽湪绠楁硶绫诲瀷涓婏紝澶ч儴鍒嗘�鏋朵篃鍋氬緱骞朵笉鍏ㄩ潰銆傚洜姝ゅ�浜庡�鏅鸿兘浣撳己鍖栧�涔犵畻娉曟�鏋舵敮鎸佽繖涓€鍧楋紝涔熶竴鐩存槸缂轰箯涓€濂楁瘮杈冨叏闈㈢殑妗嗘灦鏉ユ墦閫氱畻娉曞疄鐜般€佽�缁冨拰閮ㄧ讲娴嬭瘯杩欎竴濂楁祦绋嬨€�

鎴戜滑璁や负浠ヤ笂涓や釜鍙戝睍鐜扮姸鐨勪富瑕佸師鍥犺嚦灏戜細鏈変袱鐐癸細锛�1锛変竴涓�槸鍥犱负澶氭櫤鑳戒綋绠楁硶鏈�韩鍦ㄧ粨鏋勪笂鍏锋湁鐨勫紓鏋勬€ц緝楂橈紝瀵艰嚧绠楁硶鍦ㄦ帴鍙ｅ疄鐜扮殑涓€鑷存€у拰澶嶇敤鎬т笂涓嶆槸澶�珮锛涳紙2锛夊彟涓€鏂归潰涔熸槸鍥犱负澶氭櫤鑳戒綋鍒嗗竷寮忕畻娉曚緷鐒跺�浜庢棭鏈熸帰绱㈤樁娈点€傛�澶栵紝鍦ㄥ垎甯冨紡閮ㄧ讲鏂归潰锛岀幇鏈夊垎甯冨紡寮哄寲瀛︿範妗嗘灦瀵� independent learning 绠楁硶鐨勬敮鎸佹洿鍙嬪ソ锛屼篃鏇磋嚜鐒跺拰鐩存帴銆傚氨鍍忛€氬父鍒嗗竷寮忔妧鏈�湪鏈哄櫒瀛︿範棰嗗煙鐨勫簲鐢ㄤ竴鏍凤紝瑕佽В鍐崇洰鍓嶅垎甯冨冩�紡鎶€鏈�湪澶ц�妯″�鏅鸿兘浣撳己鍖栧�涔犻�鍩熺殑鏇存繁灞傛�鐨勫簲鐢�紝绠楁硶鍜屾�鏋堕兘蹇呬笉鍙�皯锛屼袱鑰呯浉杈呯浉鎴愩€�

鍦ㄧ畻娉曟柟闈�紝涓€涓�噸瑕佺殑閫斿緞鏄�熀浜庣兢浣撶殑澶氭櫤鑳戒綋寮哄寲瀛︿範鏂规硶锛屼篃鏄� MALib 鐩�墠闃舵�鎵€閲嶇偣鐬勫噯鐨勬柟鍚戙€傚熀浜庣兢浣撶殑澶氭櫤鑳戒綋寮哄寲瀛︿範锛圥opulation-based MARL, PB-MARL锛夋秹鍙婂埌澶氫釜绛栫暐闆嗗悎浜や簰闂��锛屼笅鍥惧睍绀轰簡閫氬父鎰忎箟涓婂熀浜庣兢浣撶殑澶氭櫤鑳戒綋寮哄寲瀛︿範绠楁硶鐨勪富瑕佹祦绋嬨€侾B-MARL 绠楁硶鐗圭偣鏄�粨鍚堜簡娣卞害寮哄寲瀛︿範鍜屽姩鎬佺�缇ら€夋嫨鏂规硶锛堜緥濡傦紝鍗氬紙璁猴紝杩涘寲绛栫暐锛夋潵杩涜�鑷�姩绛栫暐闆嗘墿灞曘€傞€氳繃杩欑�鏂瑰紡锛孭B-MARL 鑳藉�涓嶆柇浜х敓鏂扮殑鏅鸿兘锛屽苟涓斿湪瑙ｅ喅涓€浜涘�鏉備换鍔′笂閮藉彇寰椾簡涓嶉敊鐨勬晥鏋滐紝濡傚疄鏃跺喅绛栨父鎴� Dota2 銆丼trarCraftII锛屼互鍙婄焊鐗屼换鍔� Leduc Poker銆鏋讹�

鐒惰€岋紝涔熸�鏄�敱浜庣�缇ょ畻娉曞唴鍦ㄨ€﹀悎浜嗗�鏅鸿兘浣撶畻娉曪紝瀵艰嚧杩欎竴绫荤畻娉曞湪璁�粌杩囩▼瀵规暟鎹�殑闇€姹傛瀬澶э紝鍥犳�涔熼渶瑕佷竴涓�伒娲荤殑銆佸彲鎵╁睍鐨勮�缁冩�鏋舵潵淇濊瘉鍏舵湁鏁堟€с€�

璁烘枃閾炬帴锛歨ttps://arxiv.org/abs/2106.07551 GitHub锛歨ttps://github.com/sjtu-marl/malib

MALib妗嗘灦鍥�

涓轰簡搴斿�杩欎簺闇€姹傦紝鎴戜滑鎻愬嚭浜� MALib锛屼粠涓変釜鏂归潰鎻愬嚭浜嗛拡瀵瑰ぇ瑙勬ā缇や綋澶氭櫤鑳戒綋寮哄寲瀛︿範绠楁硶鐨勮В鍐虫柟妗堬細锛�1锛変腑蹇冨寲浠诲姟璋冨害锛氳嚜鍔ㄩ€掕繘寮忕敓鎴愯�缁冧换鍔★紝浣滀笟杩涚▼鐨勫崐涓诲姩鎵ц�鑳藉�鎻愰珮璁�粌浠诲姟鐨勫苟琛屽害锛涳紙2锛堿ctor-Evaluator-Learner 妯″瀷锛氳В鑰︽暟鎹�祦锛屼互婊¤冻澶氳妭鐐圭伒娲荤殑鏁版嵁瀛樺偍鍜屽垎鍙戯紱锛�3锛変粠璁�粌灞傞潰瀵瑰�鏅鸿兘浣撳己鍖栧�涔犺繘琛屾娊璞★細灏濊瘯鎻愰珮澶氭櫤紝鏀鑳戒綋绠楁硶鍦ㄤ笉鍚岃�缁冩ā寮忎箣闂寸殑澶嶇敤鐜囷紝姣斿� DDPG 鎴栬€� DQN 鍙�互寰堟柟渚垮湴瀚佹帴鍒颁腑蹇冨寲璁�粌妯″紡涓�€�

涓�績鍖栦换鍔¤皟搴︽ā鍨� (c) 涓庝互寰€鍒嗗竷寮忓己鍖栧�涔犳�鏋惰皟搴︽ā鍨嬬殑瀵规瘮锛�(a)瀹屽叏鍒嗗竷寮忥紱(b)灞傜骇寮�

鍏蜂綋鑰岃█锛孧ALib 鐨勬�鏋剁壒鐐瑰�涓嬶細

鏀�寔澶ц�妯″熀浜庣�缇ょ殑澶氭櫤鑳戒綋寮哄寲璁�粌銆傛槦闄呬簤闇� 2锛孌ota2锛岀帇鑰呰崳鑰€绛夋父鎴忎笂瓒呰秺浜虹被椤跺皷姘村钩鐨� AI锛岄兘寰楃泭浜庡ぇ瑙勬ā鍩轰簬绉嶇兢鐨勫�鏅鸿兘浣撳己鍖栧�涔犺�缁冿紝浣嗙幇鍦ㄦ病鏈変竴涓�紑婧愰€氱敤鐨勬�鏋舵敮鎸佺浉鍏崇爺绌朵笌搴旂敤銆傞拡瀵硅繖涓€鍦烘櫙锛孧ALib 鍩轰簬 Ray 鐨勫垎甯冨紡鎵ц�妗嗘灦锛屽疄鐜颁簡涓€涓�伒娲诲彲鑷�畾涔夌殑澶氭櫤鑳戒綋寮哄寲瀛︿範骞惰�璁�粌妗嗘灦锛屽苟涓斿�鍩轰簬绉嶇兢鐨勮�缁冨仛浜嗙壒鍒�紭鍖栵紝涓嶄粎浠呭彲浠ュ疄鐜扮被浼间簬鏄熼檯浜夐湼 2 涓�殑 League 鏈哄埗锛屼篃鏀�寔鏇寸伒娲�寔荤殑 PSRO锛堢瓥鐣ョ┖闂村簲瀵归�瑷€鏈猴級绛夌畻娉曘€傚悓鏃讹紝闄や簡鐢靛瓙绔炴妧娓告垙涔嬪�锛孧ALib 涔熷皢鎻愪緵浣撹偛锛圙oogle Football锛夛紝鑷�姩椹鹃┒绛夊満鏅�殑鏀�寔銆� MALib 鐨勯噰鏍峰悶鍚愰噺杈冪幇鏈夊�鏅鸿兘浣撳己鍖栧�涔犳�鏋跺ぇ骞呭害鎻愬崌銆傞€氳繃鍒╃敤鎵€鎻愬嚭鐨勪腑蹇冨寲浠诲姟鍒嗗彂妯″瀷锛孧ALib 鐨勫悶鍚愰噺鍦ㄧ浉鍚� GPU 璁＄畻鑺傜偣鎯呭喌涓嬶紝鏈€澶ч噰鏍锋晥鐜囩浉杈冧簬 UC Berkeley RISELab 寮€鍙戠殑钁楀悕閫氱敤妗嗘灦 RLlib 鍙�彁鍗� 15 鍊嶏紝绯荤粺鍚炲悙閲忚緝楂樺害浼樺寲鐨� SOTA 妗嗘灦 SampleFactory 鎻愬崌杩� 100%锛涚函 CPU 鐜�� MALib 鐨勫悶鍚愰噺浼樺娍杈冭繘涓€姝ユ墿澶ц嚦杩� 450%锛涘悓绫荤畻娉曡�缁冮€熷害杈� DeepMind 寮€鍙戠殑 open spiel 鎻愬崌涓夊€嶄互涓娿€� 鏈€鍏ㄧ殑澶氭櫤鑳戒綋寮哄寲瀛︿範绠楁硶鐨勬敮鎸併€傚湪璁�粌鑼冨紡灞傞潰锛孧ALib 浣跨敤鍚屾� / 寮傛�锛屼腑澶ц蹇冨寲 / 鍘讳腑蹇冨寲绛夋ā寮忥紝瀵逛笉鍚岀被鍨嬬殑澶氭櫤鑳戒綋寮哄寲瀛︿範绠楁硶鐨勮�缁冭繘琛屾娊璞★紝骞堕€氳繃缁熶竴鐨� AgentInterface锛屽疄鐜颁簡鍖呮嫭鐙�珛瀛︿範鑰咃紝涓�績鍖栬�缁冨幓涓�績鍖栨墽琛岋紝鑷��寮堬紝绛栬�绌洪棿搴斿�棰勮█鏈猴紙PSRO锛夌瓑绠楁硶銆傚悓鏃讹紝瀵瑰師鍏堜笉鏀�寔骞惰�寮傛�璁�粌鐨勭畻娉曪紝涔熷彲浠ヤ娇鐢� MALib 杩涜�骞惰�閲囨牱涓庤�缁冪殑鍔犻€熴€� 閮ㄥ垎璁�粌鏁堟灉

鎴戜滑鍜屼竴浜涚幇鏈夌殑鍒嗗竷寮忓己鍖栧�涔犳�鏋惰繘琛屼簡瀵规瘮锛屼互 MADDPG 涓轰緥锛屼笅鍥惧睍绀虹殑鏄�湪 multi-agent particle environments 涓婁娇鐢ㄤ笉鍚屽苟琛岀▼搴﹁�缁� simple-spread 浠诲姟鐨勫�涔犳洸绾裤€�

涓� RLlib 瀵规瘮璁�粌 MADDPG 鐨勬晥鏋溿€�

瀵圭収妗嗘灦鏄� RLlib銆傞殢鐫€ worker 鐨勬暟閲忓�澶氾紝RLlib 鐨勮�缁冭秺鏉ヨ秺涓嶇ǔ瀹氾紝鑰� MALib 鐨勬晥鏋滀竴鐩磋〃鐜扮ǔ瀹氥€傚寘鎷�妯�洿澶嶆潅鐨勭幆澧冿紝姣斿� StarCraftII 鐨勪竴浜涘疄楠岋紝鎴戜滑瀵规瘮 PyMARL 鐨勫疄鐜帮紝姣旇緝 QMIX 绠楁硶璁�粌鍒拌儨鐜囪揪鍒� 80% 鎵€鑺辫垂鐨勬椂闂达紝MALib 鏈夋樉钁楃殑鏁堢巼鎻愬崌锛坵orker 鏁伴噺閮芥槸璁剧疆鎴� 32锛夈€�

涓� PyMARL 鍦ㄦ槦闄呬换鍔′笂鐨勬晥鐜囧�姣斻€�

鍙︿竴鏂归潰锛屾垜浠�瘮杈冨叧娉ㄧ殑鏄��缁冭繃绋嬬殑閲囨牱鏁堢巼銆傛垜浠�篃瀵规瘮浜嗕笌鍏朵粬鍒嗗竷寮忓己鍖栧�涔犳�鏋剁殑鍚炲悙閲忓�姣旓紝鍦ㄥ�鏅轰綋鐗堟湰鐨� Atari 娓告垙涓婏紝MALib 鍦ㄥ悶鍚愰噺鍜屾墿灞曟€т笂閮借〃鐜颁簡涓嶉敊鐨勬€ц兘銆�

鍦ㄦ槦闄呭強澶氭櫤鑳戒綋 Atari 浠诲姟涓婁笉鍚屾�鏋剁殑鍚炲悙閲忓�姣斻€�

鐩�墠锛屾垜浠�殑椤圭洰宸茬粡寮€婧愬湪 GitHub 涓婏紙https://github.com/sjtu-marl/malib锛夛紝鏇村�鐨勫姛鑳芥�鍦ㄧН鏋佸紑鍙戜腑锛屾�杩庝娇鐢ㄥ苟鍚戞垜浠�彁鍑哄疂璐电殑鏀硅繘鎰忚�锛佸悓鏃跺�鏋滄湁鍏磋叮″熀鍙備笌椤圭洰寮€鍙戯紝娆㈣繋鑱旂郴鎴戜滑锛佽仈绯绘柟寮忥細[email protected]銆�

鍥㈤槦浠嬬粛

鏈�」鐩�敱涓婃捣浜ら€氬ぇ瀛︿笌浼︽暒澶у�瀛﹂櫌锛圲CL锛夎仈鍚堢殑澶氭櫤鑳戒綋寮哄寲瀛︿範鐮旂┒鍥㈤槦寮€鍙戙€侻ALib 椤圭洰涓昏�鐢变笂娴蜂氦閫氬ぇ瀛︽俯棰栧姪鐞嗘暀鎺堟寚瀵间笅杩涜�寮€鍙戯紝鏍稿績寮€鍙戞垚鍛樺寘鎷�笂娴蜂氦閫氬ぇ瀛︿笁骞寸骇鍗氬＋鐢熷懆閾�紝ACM 鐝�ぇ鍥涙湰绉戠敓涓囨�鐓滐紝涓€骞寸骇鍗氬＋鐢熺帇缈扮珶锛岃�闂��鑰呮俯鐫﹀畞锛孉CM 鐝�ぇ涓夋湰绉戠敓鍚存鼎鍝诧紝骞跺緱鍒颁笂娴蜂氦閫氬ぇ瀛﹀紶浼熸�鍓�暀鎺堝拰浼︽暒澶у�瀛﹂櫌鐨勬潹鑰€涓滃崥澹�€佹豹鍐涙暀鎺堢殑鑱斿悎鎸囧�銆�

鍥㈤槦闀挎湡鑷村姏浜庝粠鐞嗚�绠楁硶銆佺郴缁熶笌搴旂敤涓変釜灞傞潰鍏ユ墜锛岄拡瀵瑰紑鏀俱€佺湡瀹炪€佸姩鎬佺殑澶氭櫤鑳藉満鏅�笅鐨勬櫤鑳藉喅绛栬繘琛岀爺绌躲€傜悊璁哄洟闃熸牳蹇冩垚鍛樺湪浜哄伐鏅鸿兘鍜屾満鍣ㄥ�涔犻《浼氬彂琛ㄥ�鏅鸿兘浣撳己鍖栧�涔犵浉鍏宠�鏂囧叡璁′簲鍗佷綑绡浜庣囷紝骞惰幏寰楄繃 CoRL 2020 鏈€浣崇郴缁熻�鏂囥€丄AMAS 2021 Blue Sky Track 鏈€浣宠�鏂囧�銆傜郴缁熸柟闈�紝闄や簡闈㈠悜澶氭櫤鑳戒綋寮哄寲瀛︿範绉嶇兢璁�粌鐨勭郴缁� MALib锛屾湰鍥㈤槦鐮斿彂 SMARTS銆丆ityFlow銆丮Agent 绛夊ぇ瑙勬ā鏅鸿兘浣撳己鍖栧�涔犱豢鐪熷紩鎿庯紝绱��鍦� Github 涓婅幏寰椾簡瓒呰繃 2000 鍔犳槦銆傛�澶栵紝鍥㈤槦鍦ㄦ父鎴忋€佽嚜鍔ㄩ┚椹躲€佹悳绱�笌鎺ㄨ崘绛夊満鏅�笅鍏锋湁寮哄寲瀛︿範鎶€鏈�殑鐪熷疄搴旂敤钀藉湴鐨勭粡楠屻€�