ＡＩ―ニューラルネットワーク

で、その次に考えたのが、RAGにプロンプトで情報追加するのではなく、モデルに情報を組み込みたいと思ってggufを生成することに。 SVMを試した時に入れてあるpythonは3.12.0だったのでそのまま必要なライブラリをインストール。やはりpythonの方が簡単。でもggufを作るためのライブラリで引っかかって‥‥ 調べたらけっきょくVSでC++を入れるだけでOKでした。 それにしても今はプログラムをチマチマ書かずともGeminiでもchatGPTでも頼めばソースをくれるので楽〜！ 余談ですが、この掲示板を作るのでも、あれこれ注文つけてるだけでphpソースをバンバン吐き出してくれて、ほぼそのまま使える。もちろんセキュリティが甘いので、セキュリティ確保も指示しましたが‥‥

次に大規模言語モデルの使い方。いわゆるRAGを試しに作ってみたものの、動作が遅くどうみてもGPUは動かない。けっきょくGPUドライバとcudaのバージョンの兼ね合いなど、けっこう微妙なバランスで動き出して‥‥ ようやくGPUが息を吹き返した瞬間を迎えました👍 G15のRTX4050はVRAMが6GB。いちおう4ビット量子化で圧縮されたモデルならなんとか使えそう。でもRAGでプロンプトに大量に資料を埋め込むとVRAMをオーバーしてCPU動作になってしまう😢 ましてや G3のGTX1650なんか4 GのVRAMだと3ビット量子化で圧縮された2 Gくらいのモデルがやっとで、質問の回答にも、あまり上手い回答にならない。 因みに、ここまでのPGは、この手のプログラムが苦手なVBで作ってみました。VBで作れるならC#なら簡単に作り直せると見込んで。

それから1年ほど経った最近、日経ニュースの解説でAIはマトリックスの塊とか耳に入ってきて‥‥ マトリックスで動いてるんなら学生時代に少しかじったのでわかるかも。 とGeminiにあなたはマトリックスなの？と問い始めたのがニューラルネットワークを知るきっかけに。 歴史を見ると生まれる前からニューラルネットワークの前の形式ニューロン、単純パーセプトロンは考えられていたらしく‥‥ で、ひとつGeminiに教えて貰いながらサンプルを作ってみました。 まあまあわかってきたのでパワポでニューラルネットワークの基礎部分をまとめてみて、ようやく中の大まかな流れを把握できて納得。

10年ほど前、初めてSVMを使った予測プログラムを作ったとき、tensorを高速で動かすにはGPUが必要だと思って会社でDELLのゲーミングPC G3を買って貰ったものの、上手く使えずGTX1650は眠らせてしまいました。 去年は、OSの問題とディスク容量不足からPCの更新しないといけなくなったのですが懲りもせずビジネスPCではなく またG15を買って貰ったものの、これもまたRTX4050は眠りにつかせてしまいました。

ニューラルネットワークについて考えてみます