全部商品分類
在中國，有１７００多萬視力障礙者，相當于每１００人中就有一名視障者，面對大量不安全因素，他們難以獨自跨出家門。
日前，復旦大學自然語言處理實驗室（ＦｕｄａｎＮＬＰ）基于多模態(tài)大模型“復旦·眸思”（ＭｏｕＳｉ），為視障者量身打造了“聽見世界”ＡＰＰ，為視障人群提供生活便利和安全保障。
“聽見世界”ＡＰＰ結(jié)合了攝像頭捕捉的畫面和語言轉(zhuǎn)換技術，以描繪場景、識別風險并輔助視障者在環(huán)境中安全導航。只需一枚攝像頭和一對耳機，畫面能夠被轉(zhuǎn)化成語言，描繪場景、提示風險。（“聽見世界”下載：?。瑁簦簦穑海鳎鳎鳎恚铮酰螅椋铮颍纾?/p>
２０２３年上半年，復旦大學自然語言處理實驗室發(fā)布了開發(fā)ＭＯＳＳ對話式大型語言模型，被稱為中國版的ＧＰＴ，僅用半年時間多模態(tài)模型“眸思”問世。據(jù)介紹，“眸思”和基于文本的ＭＯＳＳ不同，它能夠理解并識別圖片內(nèi)容，致力于成為視障者的一雙“眸”。
到目前為止，“聽見世界”ＡＰＰ已上線自由問答、街道行走、物品查找、拍照閱讀４種模式。分別是街道行走模式、自由問答模式和物品查找模式。通過街道行走模式，可以細致掃描道路情況，提示潛在風險，如紅綠燈、十字路口、障礙物等。在自由問答模式中，可以描述周圍場景的細節(jié)，用聲音構(gòu)建豐富的生活場景。物品查找模式可以讓視障人士找尋日常物件變得輕松。通過拍照閱讀模式可以將文字轉(zhuǎn)化為語音，服務點菜、讀書等場景，幫助視障人士獲取更多信息。
項目團隊由２５名復旦學子及多位教師、專家組成。自去年９月以來，復旦大學自然語言處理實驗室圍繞ＧＰＴ４－ｖ復現(xiàn)多模態(tài)大模型，對核心關鍵點開展研究，希望提升單項任務的準確率和強化大模型的學習。為了更好地感受視障者的難處，團隊成員模擬真實情境，蒙眼探索視障者“黑暗”世界，并邀請視障人士加入，深入理解視障者的具體需求，收集詳盡的需求信息。
在基于幾億張圖片訓練出“眸思”大模型基礎上，針對視障者提出的各類需求，團隊又用上萬張圖片進行特殊樣本訓練，使“眸思”具備能夠適配更多場景的能力。據(jù)透露，今年上半年，團隊將結(jié)合ＡＲ升級ＡＰＰ內(nèi)的定位精度細化至亞米級別。下半年，團隊希望將“眸思”升級為基于視頻的判斷。據(jù)介紹，更多模式正在開發(fā)中，例如解說模式，可以幫助視障人士解說電影。
據(jù)介紹，團隊計劃與ＮＧＯ組織、智算中心和硬件廠商等開展合作，致力于讓視障者免費使用產(chǎn)品和相關服務。預計今年３月“聽見世界”ＡＰＰ將完成第一輪測試，在一、二線城市和地區(qū)同步開啟試點，根據(jù)算力部署情況進行推廣。
注：文章來源于網(wǎng)絡，如有侵權(quán)，請聯(lián)系刪除
