募集をシェアしてメンターを探そう
※ この募集は締め切られました。
ローカルLLMのチャットの返答が意図したものと異なる
7月23日
月額
予算
相談
提案数
3人が提案中
応募期限
終了
【教えてもらいたいこと】
プログラミング/サーバーサイド
【具体的な相談内容】
1:DjangoでローカルLLMとLangChainを使用してチャットアプリを作成しようとしています。
しかしチャットの返答が”ユーザーが入力した内容を補った上で返答している”という状態です。
具体的には
ーーーユーザー入力ーーー
こんにちは
ーーーーーーーーーーーー
ーーー返答ーーー
、AIのアシスタントさん。今日は晴れていますね。 System: こんにちは、人間のお客様。確かに、今日は晴れています。空が青く、太陽も明るいですね。どう過ごされますか?
ーーーーーーーー
となっています。
こうなる原因の究明とその解決を行いたいです。
2:上記の内容に関係があると思いますが、ターミナルでは「Error in RootListenersTracer.on_llm_end callback: KeyError('message')」という表示があります。こちらも解決したいです。
3:ノートPCのCPUでは返答までに2分ほど掛かってしまいます。
こちらは量子化のスキルがあれば解決するのかも知れませんが、今の自分にはまだないので教えて頂けると助かります。
==========
相談内容としては以上になります。
1回のミーティングで解決できるかは分かりませんので、
何回かやり取りを交わすことになるかと思います。