全部商品分類
人工智能在醫(yī)療領域的應用有著巨大潛力，可以改善患者治療、減輕醫(yī)院和臨床醫(yī)生的行政負擔，以及優(yōu)化醫(yī)療流程等。然而，在臨床環(huán)境中引入新技術，特別是人工智能時，也會面臨一系列挑戰(zhàn)。麻省理工學院日前發(fā)布了一項研究，深入探討了在美國醫(yī)院系統(tǒng)中實施生成式人工智能遇到的一系列問題，為我們提供了一個全面而深刻的視角。
兩組概念，三個區(qū)別
過去的研究強調，當臨床工作人員參與不足時，技術的應用會遇到障礙；當專家被要求與新技術系統(tǒng)互動時，信任和安全也會面臨挑戰(zhàn)。另一個主要挑戰(zhàn)是如何與傳統(tǒng)系統(tǒng)，特別是電子病歷（ＥＨＲ）系統(tǒng)集成。
事實上，過去在醫(yī)療系統(tǒng)中推廣新技術的嘗試往往會導致意想不到的后果，例如增加醫(yī)生和臨床團隊的管理負擔。此外，盡管有幾個成功的案例，但在醫(yī)療保健系統(tǒng)中大規(guī)模實地實施人工智能軟件的數(shù)量仍然相對較少。
麻省理工學院的這項研究，首先明確了一組概念：
傳統(tǒng)的人工智能模型和算法，稱為狹義人工智能（Ｎａｒｒｏｗ?。粒伞?，以下簡稱ＮＡＩ）；
最近的生成式人工智能模型和算法（Ｇｅｎｅｒａｔｉｖｅ，以下簡稱ＧＡＩ）。
雖然這兩種應用在技術上都屬于預測算法，但這兩種工具具有不同的技術特點，因而適用于不同的用例、不同的用戶體驗以及對機構的不同影響。
兩者之間至少有三個主要區(qū)別：
首先，ＮＡＩ模型和算法通常是為特定的預測任務（例如通過乳房Ｘ光檢測癌癥）而構建的。相比之下，ＧＡＩ工具通常基于大型語言模型（ＬＬＭ），能夠執(zhí)行各種各樣的任務，例如搜索、摘要和文本生成任務（例如，患者訪問記錄摘要）。
其次，ＮＡＩ模型和算法通常是根據(jù)目標預測任務的特定的標注數(shù)據(jù)集開發(fā)的。另一方面，與廣泛的功能相對應，ＧＡＩ工具需要更大更廣的數(shù)據(jù)集。
第三，與通常非常結構化的ＮＡＩ模型的輸出不同，ＧＡＩ模型的輸出通常是復雜和非結構化的。
該研究從技術、組織和認知三個角度研究了醫(yī)療系統(tǒng)中ＮＡＩ和ＧＡＩ應用所面臨的挑戰(zhàn)。
一是技術挑戰(zhàn)：數(shù)據(jù)異質性與保真度問題
盡管ＡＩ的性能取得了顯著進步，但其在醫(yī)療系統(tǒng)中的實際應用仍面臨技術挑戰(zhàn)。
首先，醫(yī)療保健的流程環(huán)境要求新技術能夠與傳統(tǒng)ＩＴ系統(tǒng)，尤其是電子病歷系統(tǒng)有效整合。然而，由于臨床醫(yī)生記錄和存儲數(shù)據(jù)的方式各不相同，患者記錄中的文本數(shù)據(jù)可能無法用于訓練ＮＡＩ和機器學習（ＭＬ）模型，導致數(shù)據(jù)異質性問題。
ＧＡＩ工具雖然有望解決數(shù)據(jù)異質性問題，但它們在生成文本回復和摘要時可能會利用不相關的數(shù)據(jù)，造成所謂的“幻覺”，即數(shù)據(jù)保真度問題。例如，大型語言模型（ＬＬＭ）在總結病人筆記時可能會引入不準確的信息，這對于依賴精確數(shù)據(jù)進行治療決策的醫(yī)療行業(yè)來說是一個嚴峻的挑戰(zhàn)。
由于這一問題，早期，ＧＡＩ在醫(yī)院的集中應用僅僅被部署在風險相對較低的環(huán)境中，在這些環(huán)境中，準確性和數(shù)據(jù)真實性并不太重要。例如，在生成病歷摘要的應用中，醫(yī)護人員可以使用完整的病歷，因此即使病歷摘要包含不準確的內容，也起碼會保留＂基本事實＂。在回復患者咨詢的場景中，如果臨床醫(yī)生選擇使用?。牵粒蛇M行回復，系統(tǒng)會提示他們在發(fā)送前可以對信息進行編輯，這些都是保障措施。
二是管理挑戰(zhàn)：從轉變內部設計到關注外部環(huán)境
再次強調ＧＡＩ有別于 ＮＡＩ的三個關鍵技術特征：①龐大的數(shù)據(jù)和計算需求使本地設計和開發(fā)變得不切實際；②靈活性強，使分散的用戶轉向分散控制，以及從內部的監(jiān)控和流程改進轉向外部。
從開發(fā)角度，ＧＡＩ解決方案的開發(fā)越來越依賴于 ＩＴ 部門成員的在采購和部署方面的專業(yè)知識，而不是臨床業(yè)務部門領導和ＡＩ開發(fā)人員在臨床和技術知識。因此領導者需要處理這些利益相關群體之間的關系。
例如，在紐約大學朗貢分校，ＩＴ部門的領導最初采用了 Ｅｐｉｃ 和微軟開發(fā)的收件箱信息解決方案，來起草對患者的回復。該界面不允許個人用戶設計自己的提示。草稿始終存在缺陷，限制了其預期效益，而?。牛穑椋恪〉母倪M也相當緩慢。結果醫(yī)護人員需要花費大量時間閱讀和編輯冗長的回復，這與他們自己撰寫回復所需的時間不相上下。如果靠ＡＩ開發(fā)人員來改進，將使成本大幅上升，因此紐約大學朗貢分校開始為“醫(yī)療保健特定任務”開發(fā)自己的ＬＬＭ，并使用其專有的健康記錄和臨床筆記數(shù)據(jù)集。這個例子說明了醫(yī)療系統(tǒng)?。牵粒山鉀Q方案市場整合的普遍問題。
從實施角度，由于ＧＡＩ解決方案與ＮＡＩ相比具有更大的靈活性，終端用戶只需接受少量培訓，就能熟練使用?。牵粒山鉀Q方案，而不依賴?。粒砷_發(fā)人員集中參與。例如，在紐約大學朗貢分校，登記部門的行政主管用戶甚至可以自己開發(fā)面向患者的登記聊天機器人，而ＡＩ開發(fā)者僅僅支持了用戶的基本技能和安全指導，幫助促進自下而上的解決方案開發(fā)和共享，支持了這種分散式的實施。
在維護環(huán)節(jié)，快速變化的外部軟硬件技術和法規(guī)可能會影響人工智能模型的性能，因此醫(yī)療機構的領導者需要將重點從監(jiān)控內部運營轉向關注外部環(huán)境，以提高模型性能和服務質量。例如，朗貢分校的領導還與政府事務團隊合作，提高政府機構不斷制定治理政策的意識。
三是認知挑戰(zhàn)：技能萎縮與誤判
在醫(yī)護人員層面，ＮＡＩ和ＧＡＩ的引入凸顯了人機交互風險，包括技能萎縮、對ＡＩ信任的誤判以及信息超載。
例如，臨床醫(yī)生可能過度依賴ＡＩ模型來管理出院事宜，導致他們的專業(yè)技能萎縮。
此外，如今的?。牵粒晒ぞ咄ǔ＠蒙窠?jīng)網(wǎng)絡和深度學習，即使是開發(fā)人員也無法理解，這與過去可以被人類操作員追蹤的基于明確規(guī)則的系統(tǒng)不同。ＧＡＩ模型的不透明性放大了信任誤判的風險。在低風險應用中，這可能不是問題。但在診斷應用中，ＧＡＩ的用戶必須解釋輸出結果的有效性，而ＬＬＭ的黑箱性質可能會帶來挑戰(zhàn)。
ＧＡＩ工具的靈活性也帶來了額外的挑戰(zhàn)。對于人類操作員來說，很難理解?。牵粒晒ぞ咴谀男┓矫鏁a生可靠的結果，而在哪些方面則不會。例如，即使ＬＬＭ在早期響應病人信息的試驗中產生了可靠的結果，但隨著時間的推移，它可能會被證明是不適應的。人工智能系統(tǒng)通過對新數(shù)據(jù)的自我監(jiān)督不斷更新行為，從人類操作員的角度來看，這大大增加了不可預測性。
一些開放性問題和新方向
該研究提到，以上三個方面的不同挑戰(zhàn)，是基于醫(yī)院人工智能早期部署和實驗的最新證據(jù)，以及電子病歷等新技術影響下的長期證據(jù)。通過這些證據(jù)能夠總結出ＧＡＩ新應用所面臨的潛在挑戰(zhàn)，但要評估這些挑戰(zhàn)在實踐中將如何體現(xiàn)，以及在何種條件下體現(xiàn)還為時尚早。這項研究既是為醫(yī)療機構領導者提供的潛在障礙地圖，也是一套假設，有待未來在部署?。牵粒蓱玫尼t(yī)院進行實證研究時加以檢驗。因為每個挑戰(zhàn)中都體現(xiàn)著新的研究方向。
首先，在將?。牵粒梢肱R床流程時，存在著潛在幻覺，以及缺乏可解釋性相關的風險。那么醫(yī)院將采用哪些策略來管理這些風險？他們將如何衡量這些風險是否值得承擔，尤其是當醫(yī)院可能面臨著生產率提高的高概率，以及臨床錯誤的低概率時。
第二，ＧＡＩ的引入對不同技能水平的工作人員的影響也是一個值得研究的問題。來自非醫(yī)療領域的早期實驗室和現(xiàn)實證據(jù)表明，當引入?。牵粒晒ぞ邥r，低技能工人獲益最大，這與以往的軟件技術形成了鮮明對比，以往的軟件技術往往偏向于高技能人才。那么在醫(yī)療領域，技能最低的工作人員是否會從?。牵粒傻囊胫蝎@益最多，這仍然是一個懸而未決的問題。即使技能最低的人在?。牵粒傻膸椭聵I(yè)績提高最多，體驗到生產率的邊際增長，但可能不會從ＧＡＩ中看到工資或職業(yè)發(fā)展優(yōu)勢。
第三，過去的研究表明，引入高質量自動化可能會導致技能萎縮。如果自動化程度過高，而對人類操作員的認知要求較低，那么人類獨立完成任務和識別潛在錯誤的能力就會降低。在醫(yī)療保健領域，還沒有明確的證據(jù)表明技能萎縮或績效挑戰(zhàn)與引入ＧＡＩ有關。不過，這是一個有待驗證的假設，各機構在衡量新的 ＧＡＩ應用對其員工的影響時，需要對風險進行管理。
注：文章來源于網(wǎng)絡，如有侵權，請聯(lián)系刪除
