在《人工智慧在產業的應用-問題通報系統》這篇文章中，我提到從內部問題通報系統的開發經驗，延伸至對外部客戶服務的 AI 智慧客服系統。
不論是線上客服還是語音客服系統，傳統的客服系統多依賴樹狀的問答結構來解決問題。我在 2007 年時，曾經基於 MSN 即時通訊開發過一款問答機器人，當時的技術核心就是通過樹狀結構分類問題，串接了 Wakema 這個 B2C 的平台，並回傳相應的答案。而語音客服系統如銀行業的應用，也是依靠類似的模式來提供預錄解答或導引客戶至合適的服務人員。
然而，隨著人工智慧技術的快速發展，特別是近年來大型語言模型（LLM）的突破，客服系統有了質的飛躍。這並不是完全顛覆原有結構，而是通過 LLM 的技術來優化前端的輸入與後端的輸出，使得系統能夠處理更複雜的對話，並提供更靈活的解決方案。
知識庫的建立是智慧客服系統的關鍵。回顧早期搜尋引擎的發展，例如 Google 的 Pagerank 演算法，它是通過知識庫的概念來提升搜尋結果的準確性。早期搜尋BMW關鍵字排名第一的是區域型的經銷商，而搜尋NIKE出現的是盜版商的電子購物網站。因此搜尋引擎透過這些知識庫，包含了對網站的人工審查與分類，讓搜尋結果更加精確。
我在 2007 年時也負責過 B2B Search Engine 的開發，當時的困境是如何定義製造商，而非混入零售商跟貿易商。當時我們也建立了知識庫，進行的方法是利用十年 B2B 平台的搜尋紀錄，取排名前十萬筆的關鍵字，進行適當清理後，帶入其他搜尋引擎的查詢結果，取這些結果前三十筆有效資訊，可以說知識庫的建立就是 Dirty Work。這也表示這種辛苦的髒活通常不太有人想負責。與搜尋引擎相同，智慧客服系統也需要一個可靠的知識庫，來解答使用者的各類問題。
題外話科普一下，當年除了 Yahoo 或是 Business.com 這類目錄網站外，還有 DMOZ 這個由人工維護的開放目錄網站，我也是編輯者之一，但這個服務在 2017 年停止了。
以旅館業為例，每家旅館都會面臨類似的基本問題，如入住時間、退房時間和停車位等，但每家旅館的周邊景點與交通資訊卻有所不同。因此，建立一個涵蓋所有這些資訊的知識庫，並能夠自動更新和擴展，是關鍵的項目。可以說要有人工智慧之前，必定先有工人智慧在前。
在這方面，LLM 技術提供了很大的幫助。我們可以利用 LLM 生成更多的問題與答案，進而形成豐富的知識庫。而這些知識庫的內容不僅限於文字回應，也可以包含語音回覆，解決多種形式的使用者查詢。2024 年 10 月，Open AI 推出的 Realtime API 更進一步解決了語音延遲的問題，使得語音交互更加即時自然。