01. 生成型 人工知能 (Generative AI)の定義

人工知能(AI)の発展過程を正確に理解することは生成型AIとその動作原理を理解することが重要である。
・人工知能(Artificial Intelligence)：人間の知能を模倣したり代替するためにコンピューターや機械を使用する技術を表す。初期AIは明示的な規則と規則基盤のシステムを使用して問題を解決しようと努力した。
・マシンラーニング(Machine Learning)：マシンラーニングはデータからパターンを学習し、このように学習されたパターンかを基に問題を解決するAI技術である。明示的な規則を提供せずに自ら学習する。
・ディープラーニング(Deep Learning)：ディープラーニングはニューラルネットワークを使用するマシンラーニングの一つの分野である。ディープラーニングモデルは階層的に構成されたニューラルネットワークを使用してデータから特徴を抽出して分類作業を実施する。
・生成型AI(Generative AI)：生成型AIはデータセットを活用して新たなコンテンツを作る技術で、人間の命令に従って新たなコンテンツを生成する。このような技術は詩、説明、イメージ、音楽など多様なコンテンツが生成できる。
・人間言語の理解：生成型AIは人間言語を理解し、処理することに重要な役割を担当する。これで使用者の命令や指示を理解してテキストやマルチメディアコンテンツを生成する。
生成型AIはテキスト、イメージ、音声など多様なコンテンツを生成し、これで多様な応用分野から活用されている。

02. 生成型AIを活用する多様なサービスと展望

1) 視覚的コンテンツ

・動画生成：生成型AIを活用して効率的で柔軟な方法で動画が生成できる。テキストで必要な動画コンセプトを説明するとAIがそのコンセプトに合う映像を生成する。これで動画制作プロセスを単純化して費用と時間が節減できる。
・特殊撮影及びアニメーション：AIを使用して動画に特殊撮影を追加したりアニメーションを生成することに活用できる。例えば、特定場面に派手なビジュアル場面を追加したりキャラクタの動きを自動性生成することができる。

2) テキスト

物語、小説、詩、歌の歌詞：AIを使用して物語、小説、詩、歌の歌詞を生成することができる。使用者が話題を提示したりストーリーのアイデアを共有するとAIはこれを基に面白いテキストが作成できる。
・マーケティング及びソーシャルメディアコンテンツ：マーケティングキャンペーンのためにコンテンツを生成したり、ソーシャルメディア、ツイッター、インスタグラムなどの投稿を作成することに活用できる。これでブランドのメッセージを伝えて顧客と相互作用ができる。

【▲ 生成型AIアプリケーション図 (参考：ニュースピム)】

3) コーディング

・プログラムコード生成：AIを使用して特定作業を実施するプログラムコードが生成できる。使用者が欲しい機能や作業を説明すると、AIはそれに合わせたコードを提案したり生成できる。これは特に初期開発段階に役に立つ
・コード分析及びテストケース生成：AIはプログラムコードを分析し、バグを識別して自動でテストケースを生成できる。これでソフトウェアの品質を向上させ、バグを初期に検知することができる。

4) ChatGPTの大衆化

2022年11月、OpenAIが大型言語モデル基盤のチャットボットサービスであるChatGPTを公開した。このサービスは公開されてから２か月で月利用者(MAU)が1億名を記録し、生成型AIの大衆化の可能性を確認した。

5) 経済的な影響

生成型AIは経済的に重要な役割を果たし、金融企業であるGoldman Sachs社は生成型AIがグローバルGDPの7％成長を主導し、数百万の働き口に影響を及ぼすと予測している。

03. 生成型AIのセキュリティ脅威

生成型人工知能の技術は革新的ではあるが、多様なセキュリティ脅威を引き起こす可能性がある。このような脅威は使用者安全と個人情報保護を脅威するだけではなく、社会的な混乱をさせて悪用できる。

代表的なセキュリティ脅威	主な原因	可能なセキュリティ脅威
間違った情報	・偏向 ・最新データの学習不足 ・幻覚現象	・社会的な混乱を助長 ・高危険意思決定 ・間違った意思決定誘導
AIモデル悪用	・敵対的なシステムメッセージ	・フィッシングメール及び人物盗用 ・サイバーセキュリティ脅威コード作成 ・対話型サービスを悪用したサイバー犯罪コミュニティ活性化 ・社会の工学的な影響 ・フェイクニュースの生成
類似AIモデルの サービスにかこつけ	・データ合成過程の問題 ・過度な訓練データ暗記問題 ・対話の過程から個人情報及び機密情報作成	・訓練データ漏洩 ・データ不法処理のおそれ ・機密漏洩 ・対話記録漏洩 ・データベースハッキング及び会員推論攻撃
プラグイン脆弱性	・AIモデルの提供範囲拡張 ・安定性確認不備 ・ハッカー攻撃範囲拡張 ・脆弱性があるサービスと連携	・新たなドメインからのモデル誤作動 ・「エージェント」化されたAIモデルの悪用 ・マルチモーダル悪用
拡張プログラム脆弱性	・拡張プラグラム内の悪用サービスインストール ・サービス提供業者のセキュリティ処置不備	・個人情報収集 ・システム攻撃 ・ホスティングサーバ及びストレジシステム脅威
API脆弱性	・APIキー管理の不備 ・データとコマンドの間の不明な境界	・APIキー奪取 ・悪意的なプロンプト挿入

【▲ 大規模言語モデルなど生成型AI技術の代表的なセキュリティ脅威 (参考：韓国、国家情報院)】

1) 拡張プログラム脆弱性

・個人情報収集：AIモデル拡張プログラム使用中に悪性プラグインのインストールや権限乱用で個人情報が無断でモニタリングができ、使用者情報が悪用されるおそれがある。これで使用者の身元の盗用及び金融損失のようなサイバー犯罪が発生しうる。
・システム攻撃：脆弱な拡張プログラムを悪用するハッカーはシステム攻撃に拡張プログラムを活用できる。例えば、拡張プログラムをインストールしたユーザーを対象にランサムウェア攻撃をしたり、ユーザーシステムをゾンビPCにしてDDoS攻撃が行える。
・ホストサーバ及びストレジシステム脅威：AIモデル拡張プログラムは安全なサーバとストレージシステムからホストされるべきである。ホスト及びストレジ提供業者が適切な管理をしないとハッカーがホストサーバに侵入し、内部重要データの漏洩、サーバダウン、サービス中止などが行える。

2) 間違えた情報

・社会的混乱造成：生成型AI技術はテキストやイメージ、音声などを人工的に生成したり、変形できる能力を持っている。このような技術は社会的問題や政治的性向によって偏向された情報や偽情報を作って人の感情や意見を操作したり分裂させることができる。例えば、生成型AI技術を利用して特定の政治人や団体に対する非難や称え、もしくは偽事件や証拠を作り出して社会的混乱や葛藤を引き起こすことができる。また、生成型AI技術は自分が生成した情報の出所や信頼度の検証が難しいため、ユーザーが間違った情報を正確だと信じたり、正確な情報を間違っていると疑いうる。

・「ディープフェイク」：ディープフェイクは生成型AIの技術の一つで顔や声などを人工的に合成したら変える技術である。芸能人や政治人などの顔や声を他の人もしくは状況に合わせて変形して偽の映像や音声を作り出すことができ、性的な内容や犯罪的な内容を含めて特定の人物や団体に対する名誉毀損や脅威、もしくは偽の証言や証拠などを作ることができる。

・「フェイクニュース」：フェイクニュースは生成型AIの技術の一つで偽情報もしくは歪曲された情報をニュースの形で作り出す技術である。社会的問題や政治的性向によって偏向された偽情報を作り出して人の感情や意見を操作したり分裂させることができる。インターネットやSNSなどで簡単に電波されて実際のニュースと見分けることが難しい。

・高危険意思決定：人工知能が人間の生命、健康、安全、財産、権利、自由などに重大な影響を及ぼす決定をすることである。例えば、医療診断、法律判決、金融取り引き、軍事作戦、交通管理などが高危険意思決定の対象になれる。高危険意思決定は人工知能の誤りや操作に脆弱で人間の責任と透明性を侵害することができる。従って、高危険意思決定には適切な倫理的で法律的なガイドラインと監督が必要である。

・間違った意思決定誘導：生成型AIサービス使用時、検証されていない結果物の共有は組織・個人の間違った意思決定を誘導する場合がある。

3) AIモデルの悪用

・フィッシングメール及び口癖の真似：AIモデルはユーザーのテキストスタイルを真似し、フィッシングメールを作成したり特定個人や団体の口癖を真似することで既存のセキュリティシステムを騙すことができる。

・巧妙なフィッシング攻撃：生成型AIはテキスト生成能力を向上させ、人のように対話をし、脈略の理解ができて行動のテキストとイメージを作成することができる。これで巧妙なフィッシングメールを作成する恐れがあり、このようなメールは既存の防御メカニズムには検知することが難しい可能性がある。また、生成型AIを活用して簡単にフィッシングメールを作成することができて攻撃の規模が大きくなる可能性がある。テキスト変形及び作成が自動化された多様なフィッシングメールの大量生産が可能になり、防御が難しくなる。

サイバーセキュリティ脅威コード作成：AIモデルはソフトウェアコードを作成することができるため、ハッカーはこれを利用してマルウェアを作成し、情報セキュリティに脅威を与えられる。

・ソーシャルエンジニアリング影響：AIモデルは現実的で信頼できるコンテンツを作成するため、人を操作したり、詐欺をすることに悪用でき、これはソーシャルエンジニアリング攻撃をさらに容易にする。

フェイクニュース作成：大規模言語モデルは偽ニュースを作成することに使用でき、現実的で説得力がある結果物を作成して偽情報を広げることに悪用できる。

4) データ漏洩

・訓練データ漏洩：収集された訓練データが記憶でき、これによって重要な情報がモデル内で処理されて応答を作成する過程で漏洩される恐れがある。機密情報が漏洩されるとセキュリティに深刻な脅威が発生しうる。

・機密漏洩：個人もしくは機関の機密情報を生成型AIに提供するとこのような情報が他のユーザーに漏洩される恐れがあり、これで重要な内部情報や個人情報が漏洩される可能性がある。ユーザーは個人及び機密情報を入力しないことが重要で、情報漏洩防止のための対策を整える必要がある。

・対話記録漏洩：一部AIサービスからバグによる他人との対話の記録が他のユーザーに漏洩された事例がある。これによって個人情報と金融情報などが漏洩される恐れがある。

・データベースハッキング及び推論攻撃：大規模言語モデルを利用してユーザーの質問とデータは保存され、この情報にアクセスできるモデル提供社やハッカーによるデータベースハッキングまたは会員推論攻撃が発生する可能性があり、機密性の侵害恐れがある。

5) 類似AIモデルサービス模倣

・スクォーティングURL及び拡張プログラム：生成型AI技術を利用して信頼できるウェブサイトやアプリケーションのURLまたは拡張プログラムを模倣、解散する行為である。例えば、グーグルやヤフーなど有名なウェブサイトのURLを少しだけ変えたり、クロームやファイアーフォックスのようなブラウザの拡張プログラムを偽で作って、ユーザーがアクセスしたりインストールするように誘導する。*スクォーティングURL及び拡張プログラムはユーザーの個人情報やアカウント、パスワードなどを奪取したり、マルウェアをインストールしたり、フィッシングや詐欺などの犯罪の目的として悪用できる。
*スクォーティング：サイバースクォーティングまたは、ドメインスクォーティングを含めた類似名前の脅威を意味する(例：スペルが少しだけ違うURLを違法で取得し、ここに間違ってアクセスしたユーザーを脅威する行為)

・偽アプリケーション：生成型AIを利用して信頼できるアプリケーションやデザインや機能を模倣または改ざんする行為である。例えば、インスタグラムやフェイスブックなど有名なSNSアプリケーションのログや画面を少し変えたりグーグルプレイやアップルアップストアのようなウェブマーケットのレビューな評価を改ざんして、ユーザーがダウンロードしたりインストールするように誘導できる。偽アプリケーションはユーザーの個人情報やアカウント、パスワードなどを奪取したり、マルウェアをインストールしたり、フィッシングや詐欺などの犯罪の目的として悪用できる。

04.生成型AIを利用したサイバー攻撃及び犯罪予防と対応方法

生成型AIを活用したサイバー攻撃及び犯罪の増加は今までは大きく増加はしていないが、セキュリティ脅威を前もって識別し、先制的な対応が必要だと専門家の意見が強調されている。

まず、生成型AIを活用したフィッシング攻撃に対応するために技術的なセキュリティ対策を強化し、特にフィッシング攻撃がさらに巧妙化される可能性を考えて教育で危険性を認識させる努力が必要である。また、生成型AIモデルの結果物を識別できる技術を開発し、セキュリティ脅威モニタリングシステムを構築することが重要である。

生成型AI技術は革新的で多様な分野から活用できる可能性を提供するが、これによる安全な活用方法を工夫するこがが大事である。

迅速な対応及び情報共有のために生成型AIのようなモデルから発生しうる新たな悪用事例に対応するための基盤を整えるために、関連セキュリティ脅威を持続的にモニタリングし、情報共有チャンネルからの論議を活発に続ける必要がある。

AIセキュリティポリシーに対する持続的な論議も必須てきである。AIセキュリティの具体的な方向性を確立するためには、データ収集段階から学習、結果物活用まで前過程に対する総合的なセキュリティフレームワークの準備が必要である。

05. 最後に

生成型AIは人間の創意AIモデル拡張プログラム使用中に悪性プラグインのインストールや権限乱用で個人情報が無断でモニタリングができ、使用者情報が悪用されるおそれがある。これで使用者の身元の盗用及び金融損失のようなサイバー犯罪が発生しうる。
・システム攻撃：脆弱な拡張プログラムを悪用するハッカーはシステム攻撃に拡張プログラムを活用できる。例えば、拡張プログラムをインストールしたユーザーを対象にランサムウェア攻撃をしたり、ユーザーシステムをゾンビPCにしてDDoS攻撃が行える。
・ホストサーバ及びストレジシステム脅威：AIモデル拡張プログラムは安全なサーバとストレージシステムからホストされるべきである。ホスト及びストレジ提供業者が適切な管理をしないとハッカーがホストサーバに侵入し、内部重要データの漏洩、サーバダウン、サービス中止などが行える

2) 間違えた情報

・社会的混乱造成：生成型AI技術はテキストやイメージ、音声などを人工的に生成したり、変形できる能力を持っている。このような技術は社会的問題や政治的性向によって偏向された情報や偽情報を作って人の感情や意見を操作したり分裂させることができる。例えば、生成型AI技術を利用して特定の政治人や団体に対する非難や称え、もしくは偽事件や証拠を作り出して社会的混乱や葛藤を引き起こすことができる。また、生成型AI技術は自分が生成した情報の出所や信頼度の検証が難しいため、ユーザーが間違った情報を正確だと信じたり、正確な情報を間違っていると疑いうる。

・「ディープフェイク」：ディープフェイクは生成型AIの技術の一つで顔や声などを人工的に合成したら変える技術である。芸能人や政治人などの顔や声を他の人もしくは状況に合わせて変形して偽の映像や音声を作り出すことができ、性的な内容や犯罪的な内容を含めて特定の人物や団体に対する名誉毀損や脅威、もしくは偽の証言や証拠などを作ることができる。

・「フェイクニュース」：フェイクニュースは生成型AIの技術の一つで偽もしくは歪曲された情報をニュースの形で作り出す技術である。社会的問題や政治的性向によって偏向された偽情報を作り出して人の感情や意見を操作したり分裂させることができる。インターネットやSNSなどで簡単に電波されて実際のニュースと見分けることが難しい。

・高危険意思決定：人工知能が人間の生命、健康、安全、財産、権利、自由などに重大な影響を及ぼす決定をすることである。例えば、医療診断、法律判決、金融取り引き、軍事作戦、交通管理などが高危険意思決定の対象になれる。高危険意思決定は人工知能の誤りや操作に脆弱で人間の責任と透明性を侵害することができる。従って、高危険意思決定には適切な倫理的で法律的なガイドラインと監督が必要である。

・間違った意思決定誘導：生成型AIサービス使用時、検証されていない結果物の共有は組織・個人の間違った意思決定を誘導する場合がある。

3) AIモデルの悪用

・フィッシングいメール及び口癖の真似：AIモデルはユーザーのテキストスタイルを真似し、フィッシングメールを作成したり特定個人や団体の口癖を真似することで既存のセキュリティシステムを騙すことができる。

・巧妙なフィッシング攻撃：生成型AIはテキスト生成能力を向上させ、人のように対話をし、脈略の理解ができて行動のテキストとイメージを作成することができる。これで巧妙なフィッシングメールを作成する恐れがあり、このようなメールは既存の防御メカニズムには検知することが難しい可能性がある。また、生成型AIを活用して簡単にフィッシングメールを作成することができて攻撃の規模が大きくなる可能性がある。テキスト変形及び作成が自動化された多様なフィッシングメールの大量生産が可能になり、防御が難しくなる。

サイバーセキュリティ脅威コード作成：AIモデルはソフトウェアコードを作成することができるとあめ、ハッカーはこれを利用してマルウェアを作成し、情報セキュリティに脅威を与えられる。

・ソーシャルエンジニアリング影響：AIモデルは現実的で信頼できるコンテンツを作成するため、人を操作したり、詐欺をすることに悪用でき、これはソーシャルエンジニアリング攻撃をさらに容易にする。

フェイクニュース作成：大規模言語モデルは偽ニュースを作成することに使用でき、現実的で説得力がある結果物を作成して偽情報を広げることに悪用できる。

4) データ漏洩

・訓練データ漏洩：収集された訓練データが記憶でき、これによって重要な情報がモデル内で処理されて応答を作成する過程で漏洩される恐れがある。機密情報が漏洩されるとセキュリティに深刻な脅威が発生しうる。

・機密漏洩：個人もしくは機関の機密情報を生成型AIに提供するとこのような情報が他のユーザーに漏洩される恐れがあり、これで重要な内部情報や個人情報が漏洩される可能性がある。ユーザーは個人及び機密情報を入力しないことが重要で、情報漏洩防止のための対策を整える必要がある。

・対話記録漏洩：一部AIサービスからバグによる他人との対話の記録が他のユーザーに漏洩された事例がある。これによって個人情報と金融情報などが漏洩される恐れがある。

・データベースハッキング及び推論攻撃：大規模言語モデルを利用してユーザーの質問とデータは保存され、この情報にアクセスできるモデル提供社やハッカーによるデータベースハッキングまたは会員推論攻撃が発生する可能性があり、機密性の侵害恐れがある。

5) 類似AIモデルサービス模倣

・スクォーテイングURL及び拡張プログラム：生成型AI技術を利用して信頼できるウェブサイトやアプリケーションのURLまたは拡張プログラムを模倣、解散する行為である。例えば、グーグルやヤフーなど有名なウェブサイトのURLを少しだけ変えたり、クロームやファイアフォックスのようなブラウザの拡張プログラムを偽で作って、ユーザーがアクセスしたりインストールするように誘導する。*スクォーテイングURL及び拡張プログラムはユーザーの個人情報やアカウント、パスワードなどを奪取したり、マルウェアをインストールしたり、フィッシングや詐欺などの犯罪の目的として悪用できる。
*スクォーテイング：サイバースクォーテイングまたは、ドメインスクォーテイングを含めた類似名前の脅威を意味する(例：スペルが少しだけ違うURLを違法で取得し、ここに間違ってアクセスしたユーザーを脅威する行為)

・偽アプリケーション：生成型AIを利用して信頼できるアプリケーションやデザインや機能を模倣または改ざんする行為である。例えば、インスタグラムやフェイスブックなど有名なSNSアプリケーションのログや画面を少し変えたりグーグルプレイやアップルアップストアのようなウェブマーケットのレビューな評価を改ざんして、ユーザーがダウンロードしたりインストールするように誘導できる。偽アプリケーションはユーザーの個人情報やアカウント、パスワードなどを奪取したり、マルウェアをインストールしたり、フィッシングや詐欺などの犯罪の目的として悪用できる。

04.生成型AIを利用したサイバー攻撃及び犯罪予防と対応方法

生成型AIを活用したサイバー攻撃及び犯罪の増加は今までは大きく増加はしていないが、セキュリティ脅威を前もって識別し、先制的な対応が必要だと専門家の意見が強調されている。

まず、生成型AIを活用したフィッシング攻撃に対応するために技術的なセキュリティ対策を強化し、特にフィッシング攻撃がさらに巧妙化される可能性を考えて教育で危険性を認識させる努力が必要である。また、生成型AIモデルの結果物を識別できる技術を開発し、セキュリティ脅威モニタリングシステムを構築することが重要である。

生成型AI技術は革新的で多様な分野から活用できる可能性を提供するが、これによる安全な活用方法を工夫するこがが大事である。

迅速な対応及び情報共有のために生成型AIのようなモデルから発生しうる新たな悪用事例に対応するための基盤を整えるために、関連セキュリティ脅威を持続的にモニタリングし、情報共有チャンネルからの論議を活発に続ける必要がある。

AIセキュリティポリシーに対する持続的な論議も必須てきである。AIセキュリティの具体的な方向性を確立するためには、データ収集段階から学習、結果物活用まで前過程に対する総合的なセキュリティフレームワークの準備が必要である。

05. 最後に

生成型AIは人間の創造力と知能を模倣して拡張する技術で未来社会から多くの変化と革新を持ってくるのだろう。しかしこのような技術が悪意的な目的で使用される場合、深刻なサイバー犯罪と攻撃を引き起こせる。従って、生成型AIを活用するユーザーは適切な倫理とセキュリティ指針を守り、技術的なセキュリティ対策と教育、モニタリングシステム構築情報共有、AIセキュリティポリシーの論議など、先制的な対応が必要である。生成型AIは人間の創造力を手伝う道具だけであり、その結果物は人間の責任と判断にかかっている。

06. 参考資料

1. 韓国国家情報院チャットGPTなど生成型AI活用のセキュリティガイドライン
2. KISA INSIGHT DISITAL & SECURITY POLICY 2023 VOL3 (ChatGPT(チャットGPT)のセキュリティ脅威と示唆点)
3. KISDI(情報通信政策研究院) Perspectives 2023 08 No.3 (2023年生成型AIの主要課題と意味)
   4.セキュリティニュース (チャットGPTなど生成型AIの影？ガイドラインを通じて見たセキュリティ脅威)
   5.電子新聞 (生成型AIにおけるデータ利用課題)
   6.韓国放送通信電波振興院(メディアイシュー＆トレンドレポート)