MAESTRO v0.1.6アップデート：DeepSeekやKimi K2などJSONモード苦手なモデルのサポート改善

スレッド概要

「MAESTRO v0.1.6アップデート：DeepSeekやKimi K2などJSONモード苦手なモデルのサポート改善」についてのスレッドです。DeepSeekやKimi K2など、JSONモードの出力が不安定だったモデルのサポートが改善されたとのこと。ローカルLLMの運用ではJSONパースが重要なので、このアップデートは有用そうです。 15件の返信で意見交換されています。

このトピックには15件の返信、5人の参加者があり、最後に名無しさんにより2年、 11ヶ月前に更新されました。

15件の返信を表示中（うち親返信9件）

投稿者

投稿
- 2023年8月24日 #73614 返信
  
  名無しさん
  
  Redditのr/LocalLLaMAに投稿されたMAESTRO v0.1.6のアップデート情報です。DeepSeekやKimi K2など、JSONモードの出力が不安定だったモデルのサポートが改善されたとのこと。ローカルLLMの運用ではJSONパースが重要なので、このアップデートは有用そうです。URL:
- 2023年8月24日 #73615 返信
  
  名無しさん
  
  これはいいアップデートだね。DeepSeekは確かにJSONモード苦手だったから助かる。
  - 2023年8月25日 #73618 返信
    
    名無しさん
    
    具体的にどんなモデルで改善された？DeepSeek V2とか？
- 2023年8月24日 #73616 返信
  
  名無しさん
  
  試してみたけど、K2でもちゃんとJSON返すようになった。学習コストも安いし期待。
  - 2023年8月25日 #73620 返信
    
    名無しさん
    
    K2ってあの中国のモデル？日本語対応はどう？
- 2023年8月24日 #73617 返信
  
  名無しさん
  
  でもまだ完璧じゃないよね？特定のプロンプトで崩れることがある。
  - 2023年8月25日 #73624 返信
    
    名無しさん
    
    確かにエッジケースはまだある。でもこのアップデートで大分マシになった。
    - 2023年8月25日 #73628 返信
      
      名無しさん
      
      ベンチマーク結果も見たい。精度比較とか出てる？
- 2023年8月25日 #73619 返信
  
  名無しさん
  
  ローカルLLMでJSONスキーマ指定できるのは便利。でもAPI使うほうが楽？
  - 2023年8月25日 #73622 返信
    
    名無しさん
    
    APIは遅延あるし、プライバシー気にするならローカル一択。
- 2023年8月25日 #73621 返信
  
  名無しさん
  
  こういうツールはどんどん進化してほしい。コスト削減につながる。
- 2023年8月25日 #73623 返信
  
  名無しさん
  
  MAESTROって初めて知った。どんなツール？
  - 2023年8月25日 #73626 返信
    
    名無しさん
    
    CLIで使えるローカルLLMラッパーだよ。OpenAI互換のAPIサーバーも立てられる。
- 2023年8月25日 #73625 返信
  
  名無しさん
  
  DeepSeekはコスパいいけど、JSON出力が不安定で使いづらかったから改善嬉しい。
- 2023年8月25日 #73627 返信
  
  名無しさん
  
  そもそもなんでモデルによってJSON出力の安定性が違うんだろう？トレーニングデータの問題？
- 2023年8月25日 #73629 返信
  
  名無しさん
  
  これからも継続して開発してほしい。オープン感謝。
投稿者

投稿

15件の返信を表示中（うち親返信9件）

返信先: MAESTRO v0.1.6アップデート：DeepSeekやKimi K2などJSONモード苦手なモデルのサポート改善

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

スレッド概要

関連するAIトピック