GH200のユニファイドメモリでDeepSeek V3.1を速くする話

RedditのLocalLLaMAに投稿された「Evening fun with Grace and Hopper unified memory, or how to speed up llama.cpp and DeepSeek V3.1 on NVIDIA GH200」というスレッドの話題です。GH200のユニファイドメモリを使って、llama.cppとDeepSeek V3.1の推論を高速化する方法が紹介されていました。DeepSeekはローカルLLMとして人気ですが、VRAMやメモリ帯域がボトルネックになりがち。GH200の96GB HBM3とCPUメモリの統合で、大きなモデルでも効率的に動かせるらしいです。実際のところ、コストパフォーマンスはどうなのか、個人で買えるのか、など気になる点もあるので議論しましょう。