🥇 導入：Garbage In, Garbage Out（ゴミを入れればゴミが出る）
第2回で解説した「多段ハイブリッド検索」を実装し、どんなに高度な検索アルゴリズムを組み込んだとしても、どうしても精度が上がらない……。
そんな壁にぶつかっているなら、疑うべきはシステムではなく、あなたがエージェントに食わせている「データそのもの」です。
データサイエンスの世界には、古くから「Garbage In, Garbage Out（ゴミを入れれば、ゴミが出る）」という格言があります。
2026年、AI構築を事業化しているプロたちは、手作業でデータを整えるような非効率なことはしません。
彼らは、「汚いデータを投げ込めば、AIが勝手に読みやすく整えてナレッジ化する」という自動洗浄ライン（データパイプライン）をDifyの中に構築しています。
今回は、エージェントに「最高級の食事（知識）」を与え、回答精度を劇的に向上させるための、データクレンジング術を実況します。
🥈 本編1：ナレッジを汚染し、エージェントを狂わせる「3つの害悪」
なぜ、手元にあるPDFやWordファイルを「そのまま」Difyにアップロードしてはいけないのか。
そこにはAIの思考を阻害する、目に見えないノイズが潜んでいます。
1. 構造的ノイズ（ヘッダー・フッター・ページ番号）
人間は無意識に読み飛ばせますが、AIにとって本文の途中に突然現れる「株式会社〇〇 秘密保持資料 12ページ」といった文言は、文脈をズタズタに分断する致命的なノイズです。
これが検索結果に混じると、AIは「ページ番号」を重要な数値だと誤認することすらあります。
2. 不適切なチャンク分割（文脈の悲劇）
「1000文字ごとに切る」といった単純な固定長分割は、RAGにおける最大の失敗要因です。
大事な契約書の箇条書きが真っ二つに割れたり、表データの1行目が前のチャンク、2行目が後ろのチャンクに飛んでしまえば、AIは全体像を理解できず、平気で嘘（ハルシネーション）をつき始めます。
3. 非構造化データのカオス
日記のような散文、重複だらけの議事録、表記揺れの激しい専門用語。
これらをそのまま吸わせても、ベクトル空間（AIの記憶の地図）は混濁するばかりです。
AIが「知識」として整理しやすいように、あらかじめ「整頓」してやる必要があるのです。
🥉 本編2：【実況】Difyで構築する「自動洗浄工場（データパイプライン）」
私がプロの現場で実際に運用している、ナレッジ登録前の「プレ・プロセッシング（前処理）」ワークフローを公開します。
これは一度作れば、あらゆる案件に転用可能な「金の卵」です。
1. LLMによる「Markdown（マークダウン）変換」
汚いPDFから抽出したテキストを、そのままナレッジ化するのではなく、一度「高度なLLMノード」に渡します。
指示（プロンプト）： 「このテキストからヘッダー、フッター、不要な改行を削除し、論理構造を維持したままMarkdown形式に変換せよ。表はMarkdownテーブルとして出力すること」 この工程を挟むだけで、情報の階層構造（見出し、箇条書き、表）が明確になり、検索精度は30%以上向上します。
2. 「再帰的文字分割」のチューニング
Difyのセグメンテーション設定で、単純な文字数ではなく「区切り文字（\n\n、\n、。、！）」を優先する設定を追い込みます。
さらに、「オーバーラップ（重複）」を10%〜15%程度持たせるのがコツです。
「チャンクの終わりに、次のチャンクの出だしを含ませる。
この『のりしろ』があることで、AIは分割された情報のつながりを理解できるようになるんだ」
3. メタデータの自動付与（セルフ・タギング）
「単に文章を保存するのではない。
別のLLMノードを使って、『これは2026年度の規定』『対象読者：営業部』『重要度：5/5』といったラベル（メタデータ）を自動生成させ、Difyのナレッジに付帯させる。
これにより、第2回で解説したハイブリッド検索時に、『営業部の規定の中からだけ探す』といった絞り込みが可能になり、精度は100%に近づく」
🏅 結論：データが美しいほど、エージェントは「賢く」なる
手間をかけて整えられたナレッジは、それ自体が「企業の知的資産」としての圧倒的な価値を持ちます。
「あなたの会社に散らばった、誰も整理できていない情報を、最新AIが最も理解できる『黄金のナレッジベース』に再構築して納品します」
この視点を持つだけで、あなたのビジネスは「ツールを渡す」だけの次元から、「企業の脳を整理する」という高単価なコンサルティング領域へと進化します。
データクレンジングは地味な作業ですが、それこそが収益化への最短距離なのです。
🏁 結び：次回、ブラウザを操る「手足」の実装
知識が完璧になった次は、いよいよその知性を「現実の行動」へと繋げます。
次回第4回は、「画面を飛び出せ。Playwright連携でAPIのないWebサイトを自動操作する」をお届けします。
知識を「アクション」に変え、真の自動化収益を発生させるフェーズへ突入します。
