ローカルLLMを構築して約1530ある記事を読み込ませて、今後のブログ記事作 成に生かす。
途中経過 機材詳細は以下の通り
ML350 Gen9 オンボードのSmart アレイP440ar / 2GB FBWCはバッテリーエラーが出ているので外してある。その代わりにH240ar Smart ホスト バス アダプターを付けてある
Memory:256GB（現在相性問題で32GB（16GB×２）が使われてない）
|
|
メモリー実装は256GBと出る 値上がり前に購入したのでまだ8Gが余っており全部差すと320GBとなる |
2Rと1Rが混在しているので差す位置でメモリーエラーが違うのでモグラ叩きゲームのようだ。元がサーバーなので起動までに約1分エラーを確かめてメモリー位置を交換、再起動でエラー確認の作業なので時間が溶ける。1R 16G×4を次にどこに差すかで迷っている。
OS：M.2-2280 NVMe 1TB
Data:M.2-2280 NVMe 2TB HDD6TB(RAID1)
GPU: RTX4000Ada 20GB, Quadro RTX4000 8GB, QuadroK620 2G(画像出力）の3枚差し
|
| HP ML350 Gen9ではGPUの複数差しはできないとの記載があるが3基とも画像出力している |
以下HPのマニュアル記載の注意事項以下引用
◆1プロセッサー構成の場合、利用可能な PCIスロット数は
4スロットです。スロット 5～9の利用には、 2プロセッサー構成が必要です。
◆Quadro K2200 / M2000 / P2000以外の GPUを
2枚以上搭載する場合は、オプションの ML350 Gen9
x4リダンダントパワーサプライバックプレーンと、電源
4個の構成が必要となります。
◆Quadro K6000 / M6000を搭載する場合は、オプションの 800Wパワーサプライを
2個以上または 1400Wパワーサプライを搭載する必要があります。
(標準搭載のパワーサプライと交換になります。 )
◆異なるグラフィックスとの混在はできません。
引用終わり
Ge9には、そもそもRTX4000Ada Generation、Quadro RTX4000も適応外
２枚以上GPUカードは４電源だが１電源 800Wでも余裕で動いている。
FFのベンチマークを行なったが800Wの電源で完走できている。
ML350は9基のPCIe3差し込みスロットがある GPUはPCIe×16（3スロット）に差してある
1 スロット 1 PCIe3
x16（8、4、1）（プロセッサー 1） Intel X520 10Gbps sfp接続
2 スロット 2 PCIe3
x8（4、1）（プロセッサー 1） M.2-2280 NVMe 1TB OS
3 スロット 3 PCIe3
x16（16、8、4、1）（プロセッサー 1） RTX4000Ada Generation
4 スロット 4 PCIe3
x8（4、1）（プロセッサー 1） HP Smart アレイP822/2GB FBWC
10 スロット 5 PCIe2 x8（4、1）（プロセッサー 2）USB3.0外部引出基板
11 スロット 6 PCIe3 x16（16、8、4、1）（プロセッサー 2）Quadro RTX4000
12 スロット 7 PCIe3 x8（4、1）（プロセッサー 2） 空き
13 スロット 8 PCIe3 x16（16、8、4、1）（プロセッサー 2）Quadro K620
14 スロット 9 PCIe3 x8（4、1）（プロセッサー 2） M.2-2280 NVMe 2TB AI用Data
HP Smart アレイP822/2GB FBWCはそもそもG8用だがG9でも動くのでsmartCashも利用
ファンは増設して8基
CPU Intel(R) Xeon(R) CPU E5-2698 v4 @ 2.20GHz (2 プロセッサで20Core,40Thread） 電源：500W→800W 1基に変更
Windows11 Pro (refusで導入25H2）上で環境を構築
現在このブログは、上記機器構成で書いている。
読み込ますデータをGoogle Bloggerから落として保存したが以下の点が直ってない
- 約1530ある記事を全て見直し、ラベルの付け直しを行なう
- 過去記事で内容に不整合がある場合 修正を行なう
- リンク切れ箇所を修正 もしくはリンク切れを明示する
|
|
Google Bloggerのデータエクスポートで落としたデータだが見直してない
合計で128GBある |
これをLLM用データとして読み込ませるためには一端Pythonで変換スクリプトを書いて変換させなければならない
せっかくLLM用のデータとして読み込ませるためには正確なデータが良いとの判断でブログを見直している
この環境でデータは既存の構築されたものを導入してLM
Studioで遊んでみるつもり
|
| RTX4000Ada GenerationとQuadro RTX4000 を使用中K620は除外 |
最初のモデルはGPT-OSS-20B(GPT-NeoX系などのオープンソース200億パラメーターモデル）
|
| 一応動いた。 |
62.23 tokns/sec 115 tokens 0.88s to first token ファンは通常の回転速度
さすがにllama-3-swallow-70b-instruct-v0.1モデルを使用したら回答が遅くなった。
つづく
