RAGの基本理解

RAG（検索拡張生成）は、AIが自動的に外部データを検索し、その情報を基に回答を生成するプロセスです。この方法により、従来のAIが陥りがちな「ハルシネーション（事実と異なる情報を生成すること）」を大幅に抑えることができます。つまり、ユーザーの手を借りずにAIが適切な情報を収集し、的確な回答を生成できるのです。

RAGを用いたプロンプト自動生成の仕組み

1. 検索フェーズ: 質問を受けたAIがまず関連情報を外部から収集します。
2. 生成フェーズ: 検索で得た情報を基に、正確な回答や内容を生成します。

この二段階のプロセスにより、RAGはデータの整合性を維持しながら、信頼性の高いプロンプトを生み出すことができます。

プロンプト自動生成がもたらす利点

従来のプロンプトは、ユーザーの試行錯誤によって精度を高める必要がありました。しかし、RAG技術を活用すれば、その必要はほとんどありません。以下の利点があります。

1. ユーザーの負担軽減: プロンプトの書き方に悩む必要がなくなります。
2. 精度の向上: 収集した最新の情報を活用して、精度の高いプロンプトを生成します。
3. 時間効率の向上: 自動化により時間を大幅に節約できます。

実際の応用例

RAGによるプロンプト自動生成は、特に以下のような分野で大きな効果を発揮しています。

• 顧客サポート: ユーザーの質問に応じて、関連するFAQや製品情報を自動で検索し、迅速に回答を生成します。
• 医療分野: 医療情報を基にしたプロンプトを自動生成することで、患者に対する正確なアドバイスが可能となります。
• 教育・リサーチ: 学術論文や専門書からの情報を利用し、正確な内容を自動で生成します。

RAGの利用にあたっての注意点

RAGは外部データを活用するため、機密情報の扱いには注意が必要です。業務上の重要データが外部と接続される場合、適切なセキュリティ対策が求められます。

最高精度のChatGPTプロンプトを自動生成する方法

Scholar AIの導入

「Scholar AI」にアクセスします。

まず、論文検索「Scholar AI」を導入します。
導入方法や使い方は下記のページをご覧ください。

ChatGPTプロンプトに関する論文のダウンロード

ChatGPTのプロンプトに関する論文をScholar AIを利用し、論文のリストを生成します。論文へのリンクも取得できるのでリンク先からPDFファイルをダウンロードします。

Scholar AIで論文を取得するプロンプト

• 「chatGPT のプロンプトに関する代表的な論文を教えてください。日本語でお願いします。」
• 「chatGPT のプロンプトに関する最新の論文を教えてください。日本語でお願いします。」

上記のような簡単なプロンプトでも論文の要約とリンクを生成することが出来ます。

Scholar AIで取得したchatGPTプロンプトに関する論文リスト

1. Is ChatGPT a General-Purpose Natural Language Processing Task Solver?
   ChatGPTの自然言語処理タスクにおける一般的な性能を評価しています。この研究では、ChatGPTが算術的な推論などの特定の推論タスクで高い性能を示す一方、シーケンスタグ付けのようなタスクでは課題があることが明らかになっています【Chengwei Qin et al. (2023)】。
   
2. Evaluating ChatGPT’s Information Extraction Capabilities
   この研究は、ChatGPTが標準的な情報抽出タスクでのパフォーマンスは低いものの、OpenIE（オープン情報抽出）の状況下では高い説明性を示すことを報告しています。特に、ChatGPTが予測に対して過信する傾向があり、校正に影響を与えることも指摘しています【Bo Li et al. (2023)】。
   
3. Let’s have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations
   ChatGPTの医療、教育、研究における応用と、それに伴う倫理的およびプライバシーの課題について議論しています。また、ChatGPTの限界を理解することが、その成長の可能性を見極める上で重要であると述べています【Sakib Shahriar et al. (2023)】。
   
4. Testing the Reliability of ChatGPT for Text Annotation and Classification: A Cautionary Remark
   この研究では、ChatGPTのテキスト分類において同一の入力に対して異なる出力をする場合があることを指摘しており、人間によるアノテーションデータとの慎重な検証が必要であると警告しています【Michael V. Reiss (2023)】。
   
5. Automatic Code Summarization via ChatGPT: How Far Are We?
   ChatGPTのコード要約能力について、既存の最先端モデル（NCS、CodeBERT、CodeT5）と比較した評価を行っています。結果として、BLEUやROUGE-Lといった評価指標において他のモデルに劣るものの、コード要約における利点と欠点についても詳細に分析しています【Weisong Sun et al. (2023)】。
   
6. Improving ChatGPT Prompt for Code Generation
   この論文では、ChatGPTのプロンプトを工夫することでコード生成タスクの生成性能を大幅に向上できることが示されています。プロンプトの選定がChatGPTの効果に重要な役割を果たしていることが指摘されています【Liu et al., 2023】。
   
7. Exploring ChatGPT’s Ability to Rank Content: A Preliminary Study on Consistency with Human Preferences
   ChatGPTが人間の嗜好に一致した評価を行う能力を検証する研究です。ゼロショットでのランキング能力により、アノテーション作業の負担を軽減できる可能性があると報告されています【Ji et al., 2023】。
   
8. Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study
   ChatGPTが自動コードレビューの分野で、従来のツールを上回る精度を示し、EMやBLEUスコアが高いことを報告した研究です。これにより、コードレビューの自動化におけるChatGPTの可能性が明らかにされています【Guo et al., 2023】。
   

上記の要約を見る限り「6」の論文はプロンプト生成にかなり役立ちそうなことが分かります。その反面「３」はかなり限定的な内容の論文でプロンプト生成にはあまり役立ちそうにありません。この時点でRAGにするものとしないものを振り分けることもできます。

Difyを利用する

Difyでアカウントを作成します。

DifyでChatGPTプロンプトに関する論文をRAG

DifyでChatGPTプロンプトに関する論文をRAGにします。
アップロード可能な最大サイズは15MBです。ここでは詳しく説明しませんが、DifyはオープンソースなのでGitからダウンロードも可能です。この場合、アップロード可能な最大サイズを50MBに変更することも可能です。
https://github.com/langgenius/dify/blob/main/README_JA.md

RAGにする設定方法は下記のページをご覧ください。下記のページではテストで「RAGとファインチューニングに関する論文」をRAGにしていますが「chatGPT プロンプトに関する論文」をRAGにしてください。

これで精度の高いchatGPTのプロンプトを生成できるチャットボットは完成です。

RAGの精度を上げる

作成したチャットボットを利用していると、何度も引用されるものと、全く引用されないものがわかります。
全く引用されないものは削除し、別の論文を追加したほうが良いでしょう。
ナレッジでchatGPTのプロンプトに関連する論文データをアップロードして作成したRAGを選択すると「ドキュメント」で検索回数がわかります。
下記は利用回数そのものが少ないので判断できませんが数百回ほど利用すれば、必要じゃない論文がわかります。

精度の高いchatGPTプロンプトを生成できるチャットボット実際に使ってみる

私の個人的な利用法としては、まず作成したチャットボットに「精度の高いプロンプトを生成する条件」を聞きます。
回答が表示されたら、次に「上記の条件を守り（生成して欲しいプロンプトの内容）を教えてください」と入力します。
これだけの質問で自分が求める精度の高いプロンプトを得ることが出来ます。
考える手間と複数回のやり取りをなくし、大幅に時間を短縮できます。是非、試してください。

プロンプトの書き方を気にせず、RAG技術を使ってAIが自動で最適化されたプロンプトを生成する方法は、AI活用の新しいステージです。特にChatGPTなどを使う際、精度の高い回答が自動で得られるため、業務効率が向上し、ユーザー体験も大きく向上するでしょう。今後、プロンプト自動生成を導入する企業や分野が増え、ますますRAG技術の進化が期待されます。