投稿一覧（新着順）
現在ファインチューニングを繰り返しています。
軽量モデルのためでしょうが、どうしてもハルシネーションが起こり
誤り訂正を繰り返しています。
学習パラメータを変えたりしてもなかなか難しそうです。
ようやく昨日、ファインチューニングのためのデータベース処理とJson生成処理が出来上がり、ファインチューニング用のデータをチマチマ作り始めたところです。
けっきょくJsonを作成するための元データの管理はDBで行うことにしました。データがある程度揃ったところでファインチューニングを試してみます。
因みに、今のところの予定ではGemmaはやめてLlamaの3Bをベースモデルにすることにします。
今日はベースモデルを指定できるようにpythonをパラメータ渡しに変更。Llama-3.2-3B-Instructで生成しました。3Bでも2Bとさして変わらずでした。
Llama-3.1-8Bで試してみましたが、さすがにVRAM不足でした。オフロードで動いてくれるかと思ったらファインチューニングでは、VRAM不足で強制終了してしまいました。オフロードは推論時でしか使えないのですかね。
Pythonを起動してGemmaの追加学習とGgufの生成を完了できました。Jsonの作成方法を迷っています。最初はDBに作成するつもりでしたが、Tree構造にしたほうがよさそうで。XMLにするか簡単にフォルダ内にテキストで管理するか・・・。
いちおうRAGの機能は完了（？）したので、とりあえずモデル生成機能に移りますが、今日はここまでにします。