自從 GPT-3 在 2020 年走入公眾視野以來,生成式語言模型的爆發便引發了不少正反兩面的討論。而到了 2022 年之後,相關的應用與研究如雨後春筍般湧現,各行各業紛紛開始運用這項技術,嘗試解決自身領域的挑戰。
以我為例,在 2023 年時,我便開始運用大型語言模型(LLM)的能力來解讀收益相關的分析報表。在尚未導入 LLM 技術之前,我原本計畫建立一套知識庫系統,希望當我輸入收益數據時,能自動對應至函式與定義,進而產出解釋文字,實現報表說明的自動化。然而實際執行時卻遭遇重重困難,這樣的知識庫建構相當複雜,不同收益數字的變化範圍過大,且彼此之間的組合方式千變萬化,資料的詮釋往往無法從單一維度來看待,必須綜合考量其組合脈絡所代表的意義。正當我煩惱著要如何與收益管理專家共同建立這樣一套龐大的知識架構時,LLM 不斷進化的能力,為我點亮了一線曙光。
我是無意間發現多模態模型的應用,LLM 開始能夠解析圖片,並在搭配適當提示詞的情況下,提供具參考價值的數據解釋與說明。於是我們展開了小規模試驗,將真實的收益報表輸入模型,讓其進行數據背後所代表的市場解釋,並與收益專家的解讀進行比對。在確認 LLM 確實具備解析複雜報表的能力後,我們更進一步研究 LLM + RAG 的應用方式,乃至後續進行模型的微調(fine-tune)研究。
LLM + RAG 的運用不僅限於數據解說,我們也將其延伸至客服系統上,用以輔助電話人工客服。不論是讓用戶直接與 LLM 對話,透過串接 API 查詢平台資源,或是協助客服人員快速從知識庫中找出解決方案,這些皆是實際的應用場景。此外我們更將該技術導入內部問題通報系統,讓 AI 自動分類問題歸屬,並在通報當下,若已有可用解法,即時提供處理建議。當然導入初期的 LLM 能力尚未成熟,我們對其「能與不能」仍處於摸索階段。即便如此,我也已觀察到不同團隊成員對於 LLM 接受度的兩極反應(有一半的人很反對使用 AI),而這還只是研發部門內部的觀察而已。
除了應用在功能層面,我們也很早便開始將 LLM 融入程式開發流程中。當然也因此提早踩了不少坑,進一步理解其限制與潛力。對於小規模或獨立項目來說,LLM 能快速產出初步成果;在程式碼的審查(Code Review)與自動化測試方面,也具備不錯的輔助效果。就我個人而言,從 2022 年開始,LLM 已成為我生活與工作上解決疑難雜症的重要夥伴。我曾撰寫一篇〈AI 不只是聊天機器人:我與 LLMs 共事兩年來的真實應用經驗〉,詳述我如何將其實際應用於各種情境中。
當我加入新公司後,開始投入 LLM 在衛教領域與移動式機器人整合的應用開發。這項計畫一開始便面臨不少質疑:「LLM 是一種以聊天介面為主的 Chatbot,而機器人則是具備實體移動能力的 Robot,兩者同為 bot,卻性質迥異,為何非得要將它們結合?」
另一項質疑則來自醫療領域本身。LLM 所面臨的兩大挑戰為模型幻覺(hallucination)與責任歸屬不明。這部分在《2025 醫療產業 LLM 導入與應用現況調查報告》中已有完整論述與調查。
針對第一個問題,其實不妨反過來思考:「當機器人搭載 LLM 能力後,究竟能解決哪些現實世界的問題?」
我所開發的「生成式 AI 照護機器人」,其核心目標即是協助減輕護理師的工作負擔。我們透過實地訪查,發現護理師所耗費最多時間、卻又可望透過自動化技術處理的區塊,主要集中在病房導覽與日常衛教。此時 LLM 的互動能力與知識庫整合特性,便展現了實際價值。
但接著又衍生出新問題:「既然人人都有手機,也能使用 LLM 服務,那為何還需要在機器人身上搭載這項功能?」