『スーパーマリオ64』にChatGPTが挑戦！露呈した課題とは？

これまでAIはチェスやポーカー、囲碁などで人間を打ち負かし、複雑なゲームやパズルでも優れていることを証明してきました。最近では新たに、あるYouTuberがAIに『スーパーマリオ64』のプレイに挑戦させた動画を公開しています。

YouTuberのジョシュ・ビケット氏は、GPT-4-Vision（テキストと画像を同時に処理して理解できるAI）にさまざまなゲームをプレイさせる新たなAIフレームワークを作成し、その手始めに『スーパーマリオ64』をプレイさせました。

今のところGPT-4-Visionはゲーム内の状況に応じて「プレイ」はできますが、情報を処理するのに時間がかかるため、達人級とは言えないようです。

AIビジョン（AIによる画像解析）は急速に成長している分野であり、現実世界に何が起きているかを分析し、カメラで捉えることができる情報に基づいて判断を下すことが可能。この技術をネコ用ドアに搭載することで、口に獲物をくわえている場合はドアをロックする技術も公開されていました。

まずピケット氏は、マルチモーダル（テキストや動画、音など複数の異なる情報を組み合わせて処理できること）のフレームワークを構築。これにより画面を見て何があるかを判断し、コントローラへの入力を制御できるようになります。

今回の動画では、画面上のマリオの位置とルートを検出し、そのルートを進むよう指示もできています。また、マリオを移動させたり、ジャンプさせたり、障害物をかわしたりするために、どれぐらいの時間キーやボタンを押し続ければいいのかの判断にも成功しています。

ただし、最大の問題はタイムラグ。GPT-4-Visionが画面を見てから、マリオに何をさせるかの判断を下すまでに時間がかかり、その間にたびたび敵の攻撃を受けてしまっています。

最後に、ピケット氏はテストしながらコードを何度か調整した結果、AIモデルは自発的に動き回り、ジャンプしたり敵に反応したりできていますが、とうてい完璧とは言えません。本当のゲーマーがプレイしているというより、子どもが適当にプレイしているような印象があります。

もしこの技術が今後も進化を続ければ、いずれは人間が指示するまでもなくAIが最後までゲームをクリアしたり、攻略動画を自動作成してくれたりする未来が来るのかもしれません。