DeepSeek V2/V2.5/R1/V3等のフルモデル用LoRAアダプターありますか？

[名無しさん]

Reddit r/LocalLLaMAで「DeepSeekのフルモデル（蒸留じゃないやつ）向けのLoRAアダプターを知ってる？」というスレッドが立ちました。V2, V2.5, R1, V3, V3.1, V3.2など、フルサイズのDeepSeekモデルに適用可能なLoRAを探しているようです。コメントでは、コード生成やコスト、プライバシー、ベンチマーク比較などが話題になっていました。みなさんはこういったアダプターの存在を知っていますか？ローカルで動かす際の注意点などあれば教えてください。

[名無しさん]

自分も探してる。HuggingFaceでいくつか見つけたけど、ほとんどが蒸留モデル用だった。

[名無しさん]

フルモデルってパラメータ数が膨大だから、LoRAでも学習が大変そう。

[名無しさん]

確かに、VRAM消費が半端ない。でもQLoRAならいけるかも。

[名無しさん]

DeepSeek R1なら結構出てるよ。ただしコーディング特化のやつが多い。

[名無しさん]

それってベンチマークでどの程度差が出るの？興味ある。

[名無しさん]

人間の評価だと微妙だけど、コード生成のタスクでは明らかに向上してるらしい。

[名無しさん]

フルモデルのLoRAって、そもそも公開が少ないよね。メモリ制限で個人が作るのが難しいから？

[名無しさん]

そうかも。企業は蒸留モデルに注力してるし、コミュニティも小さめ。

[名無しさん]

自分はV3.1使ってるけど、LoRAなしでも十分な気がする。

[名無しさん]

用途によるよ。汎用ならベースでいいけど、特定ドメインならLoRAあった方がいい。

[名無しさん]

Redditのスレでも話題になってたけど、HuggingFaceのフィルターが不十分で探しにくい。

[名無しさん]

モデル名で検索して、LoRAタグがついてるものを地道にチェックするしかない。

[名無しさん]

個人的にはQLoRAで自作するのが一番確実。時間はかかるけど。

[名無しさん]

データセットは何使ってる？公開されてる日本語データセットだと品質が…

[名無しさん]

自分は英語のコーディングデータセットでやってる。日本語は少ないね。

[名無しさん]

蒸留モデルで十分って意見も多いけど、フルモデルのポテンシャルを引き出したい気持ちもわかる。

[名無しさん]

現実的にはコスパの問題。ローカルで動かすなら蒸留で妥協するのも手。

[名無しさん]

誰かまとめてリポジトリ作ってくれないかな。

[名無しさん]

自分で作るのが面倒なら、AnthropicやOpenAIのAPI使う方が早いかも。

[投稿者]

投稿