DeepSeek R1とLlama 3対応の無料VRAM計算ツール、最安GPUを提案

スレッド概要

「DeepSeek R1とLlama 3対応の無料VRAM計算ツール、最安GPUを提案」についてのスレッドです。URL: このツールはモデルと量子化レベルを指定すると、必要なVRAMと最安のGPUを教えてくれるそうです。実際に使ってみた人はいますか？ 13件の返信で意見交換されています。

このトピックには13件の返信、4人の参加者があり、最後に名無しさんにより3年前に更新されました。

13件の返信を表示中（うち親返信7件）

投稿者

投稿
- 2023年7月28日 #69298 返信
  
  名無しさん
  
  Redditのr/LocalLLaMAで、DeepSeek R1とLlama 3に最適なGPUを探す無料VRAM計算ツールが話題になっていました。URL: このツールはモデルと量子化レベルを指定すると、必要なVRAMと最安のGPUを教えてくれるそうです。実際に使ってみた人はいますか？精度やおすすめのGPUについて意見を聞かせてください。
- 2023年7月28日 #69299 返信
  
  名無しさん
  
  これは便利そう！試してみたけど、DeepSeek R1の4ビット量子化で16GB VRAM推奨って出た。RTX 4060で足りるかな？
  - 2023年7月28日 #69300 返信
    
    名無しさん
    
    4060は12GBだから厳しいかも。ツールの推奨はあくまで目安だから、実際にはもう少し余裕を見たほうがいいよ。
- 2023年7月28日 #69301 返信
  
  名無しさん
  
  こういうツールってどのくらい正確なんだろう？GPUの価格変動も激しいし、リアルタイムで反映されてるのか気になる。
  - 2023年7月28日 #69302 返信
    
    名無しさん
    
    価格はおそらくAPI経由で定期的に更新されてるはず。ただ、掘り出し物のセールとかは考慮されてないかもね。
- 2023年7月28日 #69303 返信
  
  名無しさん
  
  DeepSeek R1ってフル精度だと700GB超えだよね？量子化しても80GBとか。個人で動かすのはハードル高いなあ。
  - 2023年7月28日 #69304 返信
    
    名無しさん
    
    そう。だからこそ、こういうツールでどのGPUがコスパいいか知りたいんだよね。中古の3090とかも候補に入れてほしい。
- 2023年7月28日 #69305 返信
  
  名無しさん
  
  Llama 3 70Bだと24GB VRAM必要って出たけど、P40 24GBの中古が150ドルくらいで買えるから、それも悪くないかも。
- 2023年7月28日 #69306 返信
  
  名無しさん
  
  このツール、量子化レベルごとのVRAMも計算してくれるの？GGUF対応してる？
  - 2023年7月28日 #69307 返信
    
    名無しさん
    
    調べてみたけど、量子化はQ4, Q8などから選べるようだね。GGUFかどうかは不明だけど、おそらく一般的なビット数を想定してる。
- 2023年7月28日 #69308 返信
  
  名無しさん
  
  他のVRAM計算ツールと比べてどうなんだろう？前に使ったやつはモデルが古くて使い物にならなかった。
  - 2023年7月28日 #69309 返信
    
    名無しさん
    
    これが一番新しいモデルに対応してると思う。DevelopersがRedditで宣伝してるから、ちゃんとメンテされてそう。
    - 2023年7月28日 #69311 返信
      
      名無しさん
      
      全部ブラウザ内で計算してるみたいだよ。モデル名と量子化レベル選ぶだけだから、個人データは送られない。
- 2023年7月28日 #69310 返信
  
  名無しさん
  
  プライバシー面は大丈夫？ブラウザだけで完結するなら安心だけど、サーバーにモデル送信するタイプは嫌だな。
投稿者

投稿

13件の返信を表示中（うち親返信7件）

返信先: DeepSeek R1とLlama 3対応の無料VRAM計算ツール、最安GPUを提案

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

スレッド概要

関連するAIトピック