マルチエージェントシステムにおける学習データの共有による深層強化学習手法の改良

本研究成果のポイント

〇本研究は、深層強化学習を使用したマルチエージェントシステムの適応的なデータ共有方法に関するものです。

〇3種類のトレーニングデータ共有方法を提案し、シミュレーション実験を行い、その有効性を示しました。

〇提案された方法は従来手法を上回り、各ターゲット問題の特性に合わせて調整することが可能です。

〇迷路環境を用いた実験により提案手法が既存手法よりも優れていることが示されました。

〇本研究の成果は、マルチエージェントシステムにおけるデータ共有方法の改善に貢献することが期待されます。

概  要

強化学習あるいは深層強化学習に基づく学習を行う複数のエージェントを用いたマルチエージェント環境においては、エージェント間での情報共有が学習効率性を向上させることが報告されています。しかし、情報共有が不十分であったり情報共有が過剰であったりすると、学習効率が低下すると考えられます。

本研究では、深層強化学習を使用したマルチエージェントシステムにおける、3種類のトレーニングデータ共有方法を提案しています。具体的には、ランダムにデータを選択する方法、報酬に基づいてデータをランク付けし一定の割合で共有する方法、学習状況に応じて割合を調整する方法の3種類を構築しています。

本研究では、迷路問題を用いたシミュレーション実験を行うことで、その有効性を示しています。シミュレーション実験の結果、提案された方法は既存の方法を上回り、各ターゲット問題の特性に合わせて調整することが可能であることを示しました。この研究成果は、マルチエージェントシステムにおけるデータ共有方法の改善に貢献することが期待されます。ただし、実際の応用においてはいくつかの制限や課題が存在する可能性があります。

図1

図2


up