OpenAI、ChatGPTで不正をする学生を見つけるツールを開発。公開できない理由とは？

OpenAIは、ChatGPTに宿題をさせる学生を捕まえられるツールを開発したものの、実際にリリースするかどうか議論していると報じられています。

米The Wall Street Journal（WSJ）紙によると、このツールは約1年前から提供される準備ができており、「ボタンを押すだけ」のところまで来ているとのこと。

OpenAIの広報は米TechCrunchに寄せた声明のなかで、実際にテキスト透かし（ChatGPTが生成したと識別できる印を埋め込む）方法を研究していると認めつつ、「複雑さとOpenAIの枠を超えた広範なエコシステムに影響する可能性」があるため、「慎重なアプローチ」を取っていると述べています。

具体的に同社が懸念しているのは、「悪質な行為者が回避する」ことや「英語が母語ではない人々などに不釣り合いな影響を与える」こと。つまり、悪知恵が効くユーザーには抜け道を探される一方、英語に慣れておらずChatGPTに頼る必要が高い人々が不利な扱いを受けかねないということでしょう。

これは、以前からの「生成AIが生成したテキストを検出しようとする技術」とは異なるアプローチです。そちらは、ほとんど成果が上がっておらず、OpenAIも「精度が低い」という理由で検出ツールを打ち切っていました。

今回のテキスト透かしでは、OpenAIは他社のAIモデルを脇に置いて、ChatGPTによるカンニングを検出することだけに集中しています。ChatGPTの単語選びを少し変更することで、目に見えない透かしを作り、後で別のツールで検出できるようにするわけです。

WSJが記事を掲載した後、OpenAIはAIが生成したコンテンツ検出に関する研究についてブログ記事を更新。それによれば、テキスト透かしは、「言い換えのような局所的な改ざんに対しては非常に正確で、効果的でさえある」と証明されたとのこと。

しかし「翻訳システムを使ったり、別の生成AIで書き換えたり、各単語の間に特殊な文字を挿入し、その文字を削除するようAIに要求したりする」ような全般的な改ざんに対しては「あまり頑強ではない」ことが分かったと報告しています。

その結果、テキスト透かしは「悪意ある者による迂回が簡単である」とのこと。また、英語を母語としない人々にとっては「有用な執筆ツールとしてのAIの使用に汚名を着せる」可能性があるとも付け加えています。

確かに母語を英語に翻訳するためにChatGPTを使ったために、カンニングと判定されてはたまったものではないでしょう。ChatGPTでズルをしようとする学生は、その悪知恵を本来の学びに生かすように望みたいところです。