ChatGPTとは何か？
気軽にAIとの対話ができるChatGPT。最近よく聞きますよね。皆さんはもう使ってみましたか？
使い方や効率的なプロンプト（命令、chatでの指示）の出し方などは市場に溢れ始めています。
しかし、その背後にはどのような技術があるのでしょうか。ちょっと気になったので調べてみました。
ChatGPTはOpenAIが開発した自然言語処理（NLP）AIです。人間と同じように自由に会話ができるところが特長です。
たとえば、質問に対する答えを生成したり、物語を創り出すことも可能です。
ChatGPTはウェブ上の文章を学習データとして広範囲の話題に対応しました。その技術的な中核となるのが、”Transformer”と呼ばれるモデルです。
ChatGPTのエンジン：Transformerとは
ChatGPTの力の源泉となるのが、”Transformer”という技術です。その役割とは一体何なのでしょうか。
Transformerは文章の意味を理解し、それに基づいて応答を生成する役割を果たします。
この技術は、Googleの研究者によって2017年に提案されました。
言語モデルにおいて、単語や文章の連続性を理解する重要な要素となっています。
Transformerの基本原理
Transformerの原理は非常に複雑ですが、ここでは易しくご紹介します。
Transformerは単語の位置関係や重要度を学習し、文章の意味を抽出します。
これは、人間が文章を読み解くプロセスに似ています。
人間が一つ一つの単語を注意深く読み、その単語が全体の文脈でどのような意味を持つのかを理解するように、Transformerも同様のプロセスを行います。
例えば「明日は仕事があるので、今日はベッドに入って早く〇〇」という文章が与えられたら、「寝る」という単語が来ることが予想できます。
過去の文章予測AIは前後の単語でしかこの予想ができませんでした。「早く〇〇」という文章だけなら、「起きる」「出かける」なども考えられますよね。
「明日」「仕事」「ベッド」などという単語から適切な文章を生成するのです。
より深い技術へ：Transformerの詳細
それでは、もう少し深くTransformerの技術について説明しましょう。
Transformerは”Self-Attention”というメカニズムを利用し、文脈を理解します。このメカニズムは、単語間の関連性を捉え、文脈全体を考慮した理解を可能にします。
つまり、Transformerは文章全体の情報をもとに、各単語の重要性を自動的に判断します。
これらの自動的な特徴量の抽出は機械学習や深層学習について学んだことのある人ならご存知かと思います。
ChatGPT-3は事前学習の段階で、ウェブ上にある文章を約45テラバイト学習させました。
最新のChatGPT-4は技術的な詳細を公開していないのでわかりませんが、さらに多くの学習をさせていると考えられます。
機械学習においては、学習量を増やすことで特徴量の抽出方法や単語の重要度などを的確に判断しやすくなります。
データ量が多くなることで、精度が高くなることを「スケール則」といいます。
ChatGPTは「汎用AI」になのか？
今までも数多くのAIが存在してきました。
囲碁、将棋、顔認識、自動翻訳、それらに特化したAIを「特化型AI」といいます。
それに対して、何でもできるAIを「汎用AI」といいます。
機械の能力を判定するテストとして「チューリングテスト」というものがありますが、ChatGPTの文章作成能力は人間のそれと遜色ないという結果が出ています。
少なくとも「文章における汎用AI」と呼ぶことはできるでしょう。
文章関連におけるタスクをこなせる力を秘めているため、近い将来、仕事そのものが奪われる可能性もあります。
私たちはAIと共存する社会を真剣に考えていかなくてはなりません。
ChatGPTとTransformerを自分のAIに活用する方法
ChatGPTを自身のAIプロジェクトに活用したい場合はOpenAIのAPI（ChatGPT-4 API）を活用しましょう。
公式のドキュメンテーションやチュートリアルも公開されているため、比較的簡単に使えると思います。
自分のアプリケーションに自然言語処理能力を追加して、AIプログラマーの第一歩を踏んでみましょう。
やってみて、中身でどのように動いているか気になったり、AIについて学びたいという意欲が湧いてきたらこっちのものです。
書籍や、courseraのコースを受けてみて、実際にpythonなどを用いて深層学習について深く知識をつけていきましょう。
courseraでは「Neural Networks and Deep Learning」がおすすめです。これは本当に。
大学で数学を取っていた方には魅力的な講義になると思います。そうでなくても優しく教えてくれるので微分、線形代数、確率なども同時に学びなおしできます。すごい。
さらにハマれば、自分でアルゴリズムを考えてみて、、、それをまたアプリケーションに入れて、、、夢が広がりますね。
AIに仕事を奪われるのではなく、使用する、開発する、共存する、そのような未来を描いていきましょう。
Follow me!
コメント