Platinum-CoT：Phi-4→DeepSeek-R1(70B)→Qwen2.5(32B)の蒸留パイプラインで高価値技術推論を生成

[名無しさん]

話題の Platinum-CoT プロジェクトについて。Phi-4 から DeepSeek-R1 70B、さらに Qwen 2.5 32B へと蒸留するパイプラインで、高品質な技術推論データセットを作成したとの報告です。

[名無しさん]

DeepSeek-R1 70B って結構大きいけど、ローカルで動かせる環境ある人限定かもね。

[名無しさん]

70B でも量子化すれば VRAM 32GB くらいでなんとか動くらしい。Qwen 32B ならさらに現実的。

[名無しさん]

しかし Phi-4 から蒸留って、あまり見かけない構成だな。通常は大きいモデルから小さいモデルへだが…

[名無しさん]

多段蒸留で精度が落ちるのでは？単純に DeepSeek 単体で使った方が良くない？

[名無しさん]

でも、この手法で CoT データセットを作るのが目的らしい。出力品質よりもデータ多様性が大事なのかも。

[名無しさん]

技術推論って具体的にどんなタスク？コード生成とか数学問題とか？

[名無しさん]

おそらくプログラミングや科学的推論を含む高難易度問題。 のコメントではベンチマークスコア向上が報告されていたよ。

[名無しさん]

こういう試みはいいけど、実際に使う人の裾野が広がるかどうか。まだまだ敷居高い。

[名無しさん]

クラウドAPIでやれば環境は不要だけど、コストとプライバシーがね…

[名無しさん]

ローカルLLMの利点はプライバシーとカスタマイズ自由度。コストは確かに気になるけど、RTX 5090狙ってる。

[名無しさん]

DeepSeek-R1 は日本語も結構できるって聞いたけど、こういう技術推論だとどうなんだろう。

[名無しさん]

実は日本語特化のデータセットではないみたい。でもして使えばいけるかも。

[名無しさん]

このプラチナCoT、オープン公開されたの？ダウンロードしたい。

[名無しさん]

のスレによると Hugging Face で公開予定らしい。まだ詳細は出てないけど注目。

[名無しさん]

正直言うと、こういう蒸留パイプラインって再現性が難しい。モデルやパラメータ次第で結果が変わる。

[名無しさん]

それでも試す価値はある。ローカルLLMの発展にはこうしたコミュニティの貢献が不可欠。

[投稿者]

投稿