ChatGPTの誕生は、その分野を問わないあまりに汎用的な応答に対し世界が驚いていて、技術的なブレークスルーとなっているのは間違いない。人によっては、「ChatGPTの誕生ですでにシンギュラリティが到達した」とも言われるが、一方で世界は一瞬で劇的に変わっているわけではない。
Xでフォローしている方々も、なんだかんだ劇的には変わらないのではないかと予想している人も多いように感じる。
まずChatGPTをはじめとするLLMについて。自分の理解としては、Neural Network (とくにLLMで用いられているTransformer) は入力文章の長さNに対して、1回の推論にかかる時間はたかだか O(N)〜O(N^2) であるという事実。
例えばNeural Networkを用いてNP Completeな問題の巡回セールスマン問題(TSP)が多項式時間で解けるようになるかというと否だろう（解けてしまうならP≠NP問題が、P=NPとして解かれたことになる）。この世の中の問題には、問題に応じた難しさというものが決まっていて、これはある離れた２点間を旅行するときにどんなに最短でもその距離を移動しないと到達できない（ワープできない）のと同じで、難しさに応じた問題を解くのには物理的にそれだけの空間(メモリ量)・時間・エネルギーが必要であるということだと理解している。
LLMとは別に、特に画像生成領域の方で流行っているモデルで拡散モデル(Diffusion Model)というものがある。この拡散モデルは同じモデルを拡散ステップの数だけ(多いと数千回などが使われる)推論する必要があるのだが、今はこの拡散ステップを問題の難しさに寄らずに固定の数で推論している。
これに関連する内容で、自分が専攻していた量子コンピュータの分野では断熱定理というものがある。この定理では、ある初期状態Aから計算を始めて、答えの状態Bに正しく遷移するのに必要な時間はその問題（量子断熱計算では問題がハミルトニアンHの時間変化で定義される）の難しさに依存する、とされていて、簡単な問題なら多項式時間で解けるし、難しい問題は指数的な長さの時間をかける必要があるとしている。
つまり、難しい問題を正確に解くには、その難しさの分だけの時間をかける必要があるのだ。これは拡散モデルの拡散ステップを増やすことに相当する（その意味では画像生成の多くは多項式時間で解ける”簡単目な問題”に属するということなどだと思う）。
上記のような考えでAGIが出てきたとしても”指数関数的な”飛躍(多項式時間で解けないような問題が高速に解かれるようになる)というのは起きないと考えられる。
ただし、定数倍の加速はありえて、それが10倍だとしたら、100年の技術進歩が10年に高速化されてしまうのだからやっぱり恐ろしいスピードアップにはなるのだと思う。
将棋AIは人間のプロより棋力が上となってしまった現在だが、全く何も理解できないわけではなく、ほとんどの手は後から考察すればその意図が見えてくるようなもので、これから先いろんな領域でAIがそういうような感じで使われるようになるのだと感じている。