DeepSeekやQwenのコード生成モデルをセルフホストしてる人いる？無制限利用のために

このトピックには19件の返信、6人の参加者があり、最後に名無しさんにより10ヶ月、 3週前に更新されました。

19件の返信を表示中（うち親返信12件）

投稿者

投稿
- 2025年8月6日 7:37 AM #69118 返信
  
  名無しさん
  
  DeepSeekやQwenのコード生成モデルをセルフホストして、無制限に使っている人はいますか？Redditのr/LocalLLaMAで同様の議論がありました（）。コスト、プライバシー、ベンチマークなど、実際に使っている人の体験を聞きたいです。
- 2025年8月6日 7:38 AM #69119 返信
  
  名無しさん
  
  お、面白い話題だね。自分も気になってる。コスト面とかどうなんだろう。
  - 2025年8月6日 7:41 AM #69120 返信
    
    名無しさん
    
    うちはQwen2.5-Coder 7BをRTX 3090で動かしてる。普通のコード補完なら十分使えるよ。
    - 2025年8月6日 7:53 AM #69122 返信
      
      名無しさん
      
      どのくらいメモリ使ってる？llama.cppで動かしてる？
- 2025年8月6日 7:46 AM #69121 返信
  
  名無しさん
  
  ハードウェアはどれくらい必要？メモリやVRAMの目安を教えて。
- 2025年8月6日 7:55 AM #69123 返信
  
  名無しさん
  
  DeepSeekの方が複雑なタスクには向いてると思う。でもモデルサイズが大きいからね。
  - 2025年8月6日 7:58 AM #69124 返信
    
    名無しさん
    
    僕はQwenの方がシンプルな補完は速いと感じる。用途によるかも。
- 2025年8月6日 8:04 AM #69125 返信
  
  名無しさん
  
  セルフホストだとレイテンシー高いし、たまに使うだけならAPIの方が安上がりじゃない？
- 2025年8月6日 8:13 AM #69126 返信
  
  名無しさん
  
  企業のコードとか機密情報を扱うならセルフホスト一択だよね。
  - 2025年8月6日 8:15 AM #69127 返信
    
    名無しさん
    
    実はDeepSeek Coder 33Bもオープンで、量子化すれば割と動くよ。
- 2025年8月6日 8:17 AM #69128 返信
  
  名無しさん
  
  ollamaとかLM Studio使うとセットアップ簡単だよ。初心者向け。
- 2025年8月6日 8:21 AM #69129 返信
  
  名無しさん
  
  でも性能は環境によるから、ちゃんとベンチマークした方がいい。
- 2025年8月6日 8:28 AM #69130 返信
  
  名無しさん
  
  うちでベンチマークしたけど、Qwen 14Bがバランス良かった。自分のハードには合ってた。
  - 2025年8月6日 8:39 AM #69131 返信
    
    名無しさん
    
    どんなハード？俺は2枚の3090なんだけど。
    - 2025年8月6日 8:41 AM #69132 返信
      
      名無しさん
      
      2枚なら70Bも4bitで動くよ。試してみたら？
- 2025年8月6日 8:44 AM #69133 返信
  
  名無しさん
  
  70Bはオーバースペックじゃない？32Bで十分だと思うけど。
- 2025年8月6日 8:49 AM #69134 返信
  
  名無しさん
  
  GPUメモリが8GBしかないんだけど、何か動かせる？
  - 2025年8月6日 8:56 AM #69135 返信
    
    名無しさん
    
    7Bを量子化すれば動くよ。でもコード生成なら14B推奨。
- 2025年8月6日 8:58 AM #69136 返信
  
  名無しさん
  
  あとllama.cppのGPUアクセラレーション使うと速くなるよ。設定次第。
- 2025年8月6日 9:02 AM #69137 返信
  
  名無しさん
  
  いろいろ試してみるわ。情報ありがとう。
投稿者

投稿

19件の返信を表示中（うち親返信12件）

返信先: DeepSeekやQwenのコード生成モデルをセルフホストしてる人いる？無制限利用のために

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

関連するAIトピック