1. 産業界で最も注目を集めている Chat GPT

1.1 いったい Chat GPT ってなに？

Chat GPT は会話の脈絡を把握してまるで人と話すような経験を与える人工知能(AI)のチャットボットである。ChatGPTはオープンAI(Open AI)で発表された。Open AIは2015年Sam AltmanとTeslaのCEOであるイーロン・マスク(Elon Musk)が人類に利益を与えることを目標にしたAI開発のため共通設立した研究所である。
Open AIは Chat GPT が発表される4年前2018年、与えられたテキストの次の単語を予測する技術を学習して人が書いたような文章やコンテンツなどを作る自然言語処理AIモデル「GPT(Generative Pre-trained Transformer)」最初バージョンであるGPT-1を公開した。そしてGPT-1が登場してから2年後、2020年Open AIはGPT-1と比べて約1,500倍多い1,750億の「パラメータ(Paramerter)」が適用されたGPT-3を発表して注目を浴びた。

【▲ GPT-2・GPT-3のパラメータ比較イラスト (参考：Sooftware)】

GPTと同じAIモデルの演算能力はニューラルネットワークのパラメータの数が重要な要素である。パラメータは人間の脳の中で神経細胞を連携し、情報を伝わる役割をする「シナプス(Synapse)」と類似な役割を行う。つまり、AIモデルが予測した答えと正解の誤差を表現・判断する関数で、パラメータが多ければ多いほどGPTの性能が上がる。

そして2022年11月末Open AIから発表した「Chat GTP」は自然言語処理AIモデルのGPT-3に強化学習(Reinforcement Learning)を適用してさらにアップグレードされた性能を持っているGPT-3.5を基盤として開発された。Chat GPTは発表してから５日後、使用者100万を超えて爆発的な人気を集めた。会話の流れや回答の完成度が人と話しているといっても負けないぐらいすごかったためである。もちろん完成度の側面で一部補う必要はあったが、既存のチャットボットの単純情報連携超えられなかったことと比べて会話の中で隠されている脈絡を理解したり質問した内容を覚えて回答に活用するなど優秀な性能であった。

さらにChat GPTは発表されてから40日後、一日使用者1,000万名を突破し、「AI産業の新たなゲームチェンジャーになる」という評価と共に「Chat GPTはAppleのiPhoneの発表と同じぐらいの驚き」という評価を受けている。しかも2月2日、Chat GPT公開から2か月で月次活性使用者数(Monthly Activity User, 以下MAU)1億名を突破し、インターネットが登場した以来一番早いMAUの増加率を見せている。

【▲ サービス別、使用者1億名達成機関 (参考：UBS)】

1.2 AI開発と公開に速度を出しているビックテック企業

このように素早く成長しているChat GPTは多様な分野から活用されると展望している。代表的にヘルプデスクの業務をサポートするソリューションである「AI コンタクトセンター(AI Contact Center, AICC)」、論文及び小説などの「コンテンツ作成」、コード分析と論文作成のような「教育分野」がある。これにビッグテック(Big Tech)企業を含めて多様な企業からChat GPTという技術をビジネスにどのように活用して新たな成果を作るのかに注目している。

そして多数のAI専門家はChat GPTのような会話型AIが検索中心である既存インターネット市場に大きな変化を持ってくると展望している。これから使用者が知りたいことがあれば今の情報検索フォームを活用するのではなく、会話型AIフォームを選好する分析があるためである。これは実際ビックテック企業のAI開発方法に影響を及ぼしていることが確認できた。

今までのビックテック企業はAIモデルを開発してもこれを公開する代わりにAI関連分野の研究者を対象にした制限的な公開とテストを行ってきた。内部的にChat GPTぐらいのAI技術は確保したが、ややもすると不完全なAIが倫理的な側面で社会的に及ぼす影響について憂慮したのだ。しかし、最近Chat GPTがIT分野だけではなく産業全般に大きな影響を及ぼし、大きな人気を持つことで開発したAIを公開することに消極的であったビックテック企業もAI開発と公開に積極的に動こうとしてることが確認できた。

まずChat GPTに対応するためにグローバル市場1位の企業であるGoogleはChat GPTを「コードレッド」レベルの脅威で規定した。Chat GPTがGoogle全体の売上の中60％ぐらいを占めている検索エンジン事業に加える脅威に対応するためにAIの力強化に集中することである。従って2月6日Googleは自社AIモデルである「LaMDA」を活用したチャットボット「Bard」を公開し、AIスタートアップ企業である「Anthropic」に4億ドルを投資するなど積極的に対応している。されにGoogle配下のAI研究所である「DeepMind」は非公開ベータ型で「Sparrow」というAIチャットボットを2023年春に公開することを予告した。

Metaも同じである。Metaは現在AI新技術を適用したサービスを公開するとき内部の承認プロセスを既存より素早く行う方法について工夫している。今まで社会的な問題に意識しすぎてAIサービスが使用者の質問に分かり切った答えをしたり、回答を避けたりして注目されていなかった。Metaはこれから更に攻撃的にAI技術を適用して大衆から注目を浴びる製品を発表する計画を立てた。

そしてMSは1月24日、Open AIに約100億ドルぐらいの大規模投資を行ってから2月7日にChat GPTをMSの検索エンジンである「Bing」に適用したことを発表した。これと共に2月2日、MSが現在Chat GPTに活用されたGPT-3.5の性能を超えたGPT-4をBing検索エンジンに適用作業を実施していると「Semafor」の報道資料が公開されてGPT-4発表に対する注目が集中された。しかしOpen AIのCEOであるSam AltmanがTechCrunchと1月13日に行ったインタビューからGPT-4の発表について「大衆が望んでいることよりもっとゆっくりと技術を発表します。」と発言し、GPT-4の完成と発表時点についてはもっと待つ必要がある。

【▲ AI開発と公開に速度を出しているビックテック (参考：イグルーコーポレーション)】

1.3 Chat GPTによる逆機能

このように多様な分野からChat GPTがビジネスに活用されることで新たな成果を創出できると想定される反面、Chat GPTに対する否定的なことも存在する。Chat GPTの優秀な性能による教育・研究分野などから「AI代筆」のような問題が話題になっているためである。

1月9日国際マシンラーニング学会(International Conference on Machine Learning, ICML)は、「AIツールを利用して論文を作成することを禁じる」と指針を発表した。教育、研究現場で研究性と論文などを人が書いたかＡＩが書いたか区別が難しくなる問題があるためである。ICMLは「大規模言語モデル(Large Language Model, LLM)基盤で作成されたテキストを含めている論文は当該テキストを実験分析の一部として提示することではない以上、禁じる」と発表した。

このようなICMLの対応はChat GPTが作る文章が実際論文やレポートに使えるほどのレベルであったためである。最近アメリカのノースウェスタン大学の研究員は論文事前投稿サイトである「bioRxiv」にChat GPTで作成した医学論文の抄録剽窃検査を通過し、10編の中、3編は関連専門家も区別できなかった。これはChat GPTの登場による人が作った全ての文書を信頼できない状況が来る可能性があることを意味し、全ての文書に検証過程が必要になるだろう。ただの論文などの文書作成だけではなく、医者免許(USMLE)、経営大学院(MBA)、ロースクール試験も大きな問題なく合格できたとしられて医療、経営などの専門職まで広がっている。

このような理由でアメリカのジョージワシントン大学はAIを利用できないように口頭試験及びグループ評価を増やしていて、テキサス大学では資料が少ないためAIモデルに適用することが難しい初期のシェイクスピア作品を授業テキストに選定した。またニューヨーク市は2023年1月から公立学校内からChat GPTのアクセスを遮断すると発表するなど、Chat GPTを試験や宿題に活用する事例を最少化するための動きになっている。

【▲ Chat GPTの悪用事例を防ぐための対応 (参考：東亜日報、再構成：イグルーコーポレーション)】

そして1月31日、Open AIはChat GPTなどAIで作成したテキストを自動検知できるアプリ「classifier」のベータ版を公開した。このアプリは同一話題に対して人が書いたテキストとＡＩテキストデータセットを同時に訓練した言語モデルをもっているため、作成の区別ができる。Open AIは「今まで学会が心配した剽窃のような問題を解決するためにアプリを作った。」と言いながら「AIが作成した文章を区別するための最新技術を選別して導入した。」と発表した。但し、Open AIは当該のバージョンはテキスト分量が1,000字を超える場合のみ、正確な数値の提供ができると発表した。1,000字が超えないテキストの場合、信頼性が下がるとOpen AIは判断したが、その理由は使用者がAIで作成したテキストを巧妙に編集してごまかすことができるためである。

2. Chat GPTがセキュリティ業界に投げた宿題

このように全ての新技術が同じようにChat GPTにも長所と短所が共存する。そしてChat GPTをサイバーセキュリティに加えるとChat GPTが持っている長所と短所が全てサイバーセキュリティに影響を及ぼすことは当然だろう。サイバーセキュリティからChat GPTは優秀なコード分析機能を基に潜在的な脅威要素を素早く探すことに強力な性能をみせるということには異見はない。また、セキュリティ担当者との会話データが蓄積すると危機の状況のなかでもセキュリティ業務処理をもっと円滑にできると期待していて、BugBountyもより効率的に進むことができる。ただし、優秀な技術そのものが脅威になりうることを見逃してはいけない。

【▲ Chat GPTとサイバーセキュリティの関連イメージ (参考：The420)】

Chat GPTが持っているサイバーセキュリティ脅威要素には「コード作成能力」がある。もちろんOpen AIが提供しているバージョンそのもののChat GPTを使用して「マルウェアを作りなさい。」と指示するとChat GPTは拒否する。Chat GPTには一線を超えないように設定されているためである。Open AIはサービス約款からも△ランサムウェア、△キーロガー、△マルウェアまたは被害を起こすSW作成を試みるコンテンツを悪性として定義し、サイバー犯罪を狙った迷惑メール作成試みも禁止している。

しかし、セキュリティ業者Check Pointは1月6日アップロードした「OPWNAI : CYBERCRIMINALS STARTING TO USE CHATGPT」レポートからサイバー攻撃者はすでに「マルウェア作成」のようなことができるように設定を迂回することを共有しつつ、悪性サイバー攻撃に活用した事例が出ていると発表した。

2.1 Chat GPTからのマルウェア作成

Check Pointが発見した事例の一つはあるマルウェア開発者とかかわっている。その開発者はダークウェブのハッキングフォーラムからChat GPTを活用して前からよく知られているマルウェアを開発する実験をしていたと公開した。Chat GPTが自分の指示に従って開発したPython基盤の情報奪取マルウェアコードの一部を共有した。そのマルウェアは12種類のファイルをシステムから盗むマルウェアだった。Chat GPTに支持し、PuTTY SSHとTelnetクライアントをダウンロードするJavaコードを作り、PowerShellで被害者のシステムからこっそり実行させることも成功したと発表した。

このようにダークウェブに共有されたChat GPTを活用したマルウェア作成方法が広がると前とは比べられないぐらいの速度で様々なマルウェアが登場するだろう。サイバー攻撃者はマルウェアを作成するための「スキル」がもはや要らないようになり、実際サイバー犯罪市場への進入障壁がなくなることと同じである。AI基盤のマルウェアが果てしなくサイバー脅威を与える時代が来るかもしれない。

【▲ Chat GPTを利用してMalwareを開発する方法を公開した事例 (参考：Check Point)】

2.2 Chat GPTを活用した自動化ダークウェブ市場プラットフォーム構築

また、Chat GPTを活用してサイバー攻撃者が完全自動化されたダークウェブ市場プラットフォームを構築した事例である。攻撃者が構築したダークウェブ市場プラットフォームは奪取した銀行口座及びデビットカードのデータなどの取引に特化された市場であり、マルウェアはもちろん違法薬物や弾薬などの取引ができることが確認できた。その後攻撃者は自分の成果を証明するたのサードパーティAPIを活用する方法まで公開した。まだChat GPTの機能がダークウェブから活動しているサイバー攻撃者が好むツールと活用されることの有無の確信は難しいが、サイバー攻撃者の活動コミュニティーからは既にChat GPTに相当な興味を持っていて、段々マルウェアを作成する新たなトレンドに変化している。

【▲ Chat GPTを使用して自動化ダークウェブプラットフォーム構築方法を公開した事例 (参考：Check Point)】

2.3 Chat GPTで作成したPythonスクリプトの危険性

さらに2022年12月1日、USDoDのニックネームを使用するサイバー攻撃者はChat GPTを使用して作成したPythonスクリプトをダークウェブに公開した。そのスクリプトは「Blowfish」と「Twofish」暗号化アルゴリズムを利用してデータを暗号化して復号化する機能をもっている。もちろんスクリプトそのものがマルウェアに分類されるものではなかったがUSDoDが公開したスクリプトをサイバー攻撃者が悪意的な目的を達成するためにいくらでも活用できる強調した。そしてスクリプトを分析した結果、スクリプトのコード一部を修正するとコンピューターを完全に暗号化させること潜在的なランサムウェアに変化できることが確認できた。

問題はUSDoDの発言だが、USDoDは「暗号化・復号化スクリプトはChat GPTで初めて作ったもの」でこれといった経験がなくても簡単に作ることができることを強調した。これは誰も簡単にマルウェアが作成できることを意味し、もし優秀な技術を持っているサイバー攻撃者がこれを活用するとサイバーセキュリティ側面からの問題はさらに深化されるだろう。

【▲ Chat GPTを使用して作成した多階層暗号化ツール (参考：Check Point)】

これに関してCheck Pointは「Chat GPTのようなチャットボットは“コードを作成しなさい”という人間の言語で指示だけできればSWが完成できる。」そして「もちろん“コードを作成しなさい”というコマンドでSWが完成されることはないが、これはコーディング技術を習うより簡単だろう」と発言し、Chat GPTのようなチャットボットが不正行為に活用されるなどの危険性について強調した。

2.4 Chat GPTで高度化される企業メール侵害攻撃(BEC)

実際の事例は発見されてないが、Chat GPTの特定のメールやテキストを探させるなどの「コンテンツ関連要請」に正確で迅速に応答する性能により、サイバー脅威がさらに高度化される可能性も存在する。Chat GPTの優秀な機能は一般業務にも役に立つが、逆に企業メール侵害攻撃(Business Email Compromise、以下BEC)を行うサイバー攻撃者にも大きく役に立つ。BEC攻撃者は被害を騙すために「本物のように見える」メールを大量に作成するためにテンプレートを活用する。そしてセキュリティ業界はこのようなテンプレートを検知及び追跡するソリューションでBEC攻撃を予防している。

しかしChat GPTを活用すればサイバー攻撃者はテンプレートに気にする理由がなくなる。Chat GPTは標準言語語彙力は相当優秀な方で、サイバー攻撃対象に合わせたテンプレートを作ることができる。この場合、テンプレートを基盤とした検知技術は無駄になる。

サイバー攻撃者が送信する迷惑メールを区別する一つの方法が文法と単語綴りをよく確認することである。サイバー攻撃者が直接作成したメールには文法と単語の綴りに誤りが一部あるが、Chat GPTでメールを作成するともっと人が書いたようなメールが完成されるため、ＢＥＣ攻撃による被害はさらに増加すると想定される。

3. 最後に

Open AIから公開したChat GPTに関してAI分野の専門家はこれからこのような人気はさらに高まり、AIチャットボットの市場も大きく拡張されると想定している。Chat GPTのようなAIチャットボットは段々多様な種類が登場し、チャットボットが持っている固有なメリットは金融、医療、コンテンツ作成などの分野はもちろんマルウェア分析、脅威検知など多様な分野から活用できると想定されているが、これはサイバー攻撃者も不正行為に手軽に活用できるAIツールがたくさん登場する予告でもある。

もちろんまだChat GPTのようなAIアルゴリズム技術は完璧とは言えない。Open AIもサイバー攻撃者がChat GPTを不正行為に活用することを禁止したため、悪意的な意図がそのまま実現できてない状態である。しかし、サイバー攻撃者はChat GPTのような驚きな新技術を活用することを諦めることはない。これを防ぐためにもダークウェブから共有されているChat GPTのかく乱方法などをセキュリティ業界から学習し、各種AIアルゴリズムがサイバー攻撃者の悪意的な指示を判断して拒否できるように訓練が必要である。