Databricks 表示：想讓 AI 代理更好地工作？就得改善牠們檢索資訊的方式

(SeaPRwire) –   大家好，歡迎收看《聚焦人工智慧》。在本期節目中…收購了人工智慧晶片初創公司Groq的團隊和技術…收購了Manus AI…人工智慧在改進自身方面越來越出色…但我們可能對大腦的了解還不足以實現通用人工智慧（AGI）。

新年快樂！自從我們在聖誕前夕結束去年的報導以來，人工智慧領域發生了很多事情。我們將在下面的《聚焦人工智慧新聞》部分為您梳理最新情況。

與此同時，正如我之前在此提到的，2025年本應是人工智慧代理（AI agents）的元年，但大多數公司在實施它們時都遇到了困難。到去年年底，大多數公司仍處於人工智慧代理的試驗階段。我認為今年這種情況將會改變，原因之一是科技供應商意識到，僅僅提供具有代理能力的人工智慧模型是不夠的。他們必須幫助客戶圍繞人工智慧代理設計整個工作流程 —— 要么直接通過派遣充當顧問和「客戶成功」嚮導的前線工程師；要么通過軟件解決方案，讓客戶能夠輕鬆自行完成這項工作。

要使這些工作流程順利運行，關鍵的一步是確保人工智慧代理能夠獲取正確的信息。自2023年以來，實現這一點的標準方法是採用某種檢索增強生成（RAG）流程。從本質上講，其理念是讓人工智慧系統能夠訪問某種搜索引擎，使其能夠從企業內部資源或公共互聯網中檢索最相關的文檔或數據，然後人工智慧模型根據這些數據做出回應或採取行動，而不是依賴其在訓練過程中學到的內容。有許多不同的搜索工具可用於RAG系統 —— 許多公司採用混合方法，將向量資料庫（特別是用於非結構化文檔）與更傳統的關鍵字搜索甚至老式的布爾搜索相結合。

但RAG並不是萬能的，簡單的RAG人工智慧流程仍然可能存在較高的錯誤率。一個問題是，人工智慧模型往往難以將用戶的提示轉化為有效的搜索條件。另一個問題是，即使搜索執行得很好，模型也常常無法正確過濾和篩選初始搜索得到的數據。有時這是因為檢索到的數據格式太多樣化，有時是因為向人工智慧模型發出提示的人沒有寫出明確的指令。在某些情況下，人工智慧模型本身也不夠可靠，它們會忽略一些指令。

但Databricks的研究主管表示：「大多數時候，人工智慧代理失敗的原因不是它『無法對數據進行推理』，而是它一開始就沒有獲得正確的數據。」Bendersky曾長期供職於[某公司]，在那裡他參與了Google Search和Google [某項目]的工作。

Databricks推出一種新的檢索「架構」，勝過RAG

如今，以數據分析軟件著稱的Databricks推出了一種名為「指令式檢索器」（Instructed Retriever）的新架構，用於檢索增強型人工智慧代理，該公司稱其解決了RAG的大部分缺陷。

該系統將用戶的提示以及模型應始終考慮的任何自定義規範（例如文檔的新鮮度或產品是否有良好的客戶評價）轉化為針對結構化和非結構化數據（以及關鍵的元數據）的多步搜索計劃，以便為人工智慧模型提供正確的信息。

這在很大程度上涉及將用戶提示的自然語言和搜索規範轉化為專門的搜索查詢語言。Databricks神經網絡首席技術官表示：「關鍵在於如何轉化自然語言，有時這非常困難，需要創建一個非常出色的模型來進行查詢轉化。」（Tang是MosaicML的聯合創始人之一，Databricks於2023年收購了該公司。）

在Databricks設計的一系列基準測試中（該公司稱這些測試反映了涉及遵循指令、特定領域搜索、報告生成、列表生成以及搜索複雜佈局PDF的真實企業用例），該公司的指令式檢索器架構比簡單的RAG方法的準確率提高了70%，並且在多步代理過程中使用時，與基於RAG構建的相同過程相比，性能提升了30%，同時平均所需步驟減少了8%即可得出結果。

即使指令不完整，也能提高結果質量

該公司還創建了一項新測試，以了解該模型處理可能未明確指定的查詢的能力。該測試部分基於斯坦福大學現有的一個名為[某基準數據集]（半結構化檢索基準）的基準數據集。在這種情況下，Databricks研究了這些與[某類]產品搜索相關的查詢的一個子集，稱為StaRK-Amazon，然後用更多示例進一步擴充了該數據集。他們希望研究具有隱含條件的搜索查詢。例如，查詢「查找FooBrand品牌中最適合寒冷天氣的夾克」有多重隱含限制。它必須是夾克。它必須是FooBrand品牌的。它必須是FooBrand品牌中在寒冷天氣評價最高的夾克。他們還研究了用戶希望排除某些產品或只希望人工智慧代理查找有近期評價的產品的查詢。

指令式檢索器架構的理念是將這些隱含條件轉化為明確的搜索參數。Bendersky表示，這裡的突破在於指令式檢索器知道如何將自然語言查詢轉化為能夠利用元數據的查詢。

Databricks使用OpenAI的GPT – 5 Nano和GPT – 5.2以及Anthropic的Claude – 4.5 Sonnet人工智慧模型對指令式檢索器架構進行了測試，此外還使用了他們專門為處理此類查詢而創建的一個經過微調的40億參數小型模型，稱為InstructedRetriever – 4B。他們將所有這些模型與傳統的RAG架構進行了對比。在結果的準確性方面，這些模型的得分比傳統RAG架構高出35%至50%。而且InstructedRetriever – 4B的得分與OpenAI和Anthropic的大型前沿模型相當，但部署成本更低。

與以往的人工智慧一樣，將數據放置在正確的位置並以正確的格式進行組織是成功的關鍵第一步。Bendersky表示，只要企業的數據集有一個包含元數據的搜索索引，指令式檢索器就應該能很好地工作。（Databricks還提供相關產品，幫助處理完全非結構化的數據集並生成這些元數據。）

該公司表示，指令式檢索器目前已向使用其Agent Bricks人工智慧代理構建平台中知識助手（Knowledge Assistant）產品的測試客戶提供，並將很快全面推出。

這只是我們今年幾乎肯定會從所有人工智慧代理供應商那裡看到更多創新的一個例子。它們可能會讓2026年成為真正的人工智慧代理元年。

接下來，為您帶來更多人工智慧新聞。

傑瑞米・卡恩（Jeremy Kahn）

@jeremyakahn