2021年4月3日 星期六

全世界第一個深度神經網路(DNN)助聽器晶片(台積電28奈米製程+Oticon助聽器)

整理一下最近台積電生產助聽器晶片的新聞重點:

  • 台積電與丹麥奧迪康助聽器(Oticon)自2005年起合作
  • 全球搭載台積電晶片的 Oticon 助聽器已有數百萬台
  • Oticon Opn S™ (2019年)

    • 65nm
    • Velox S™晶片
    • 電晶體數量:64 million
  • Oticon Opn More™ (2020年)

    • 28nm
    • Polaris™晶片
    • 電晶體數量:154 million
    • 全球第一個內建深度神經網路(Deep Neural Network, DNN)的助聽器
    • DNN以 1,200 萬個真實的聲音場景(real-life sound scenes )訓練而成
    • BrainHearing™ technology
    • CES 2021兩項得獎:1.Health & Wellness 2.Wearable Technologies

相關連結:

Hearing with the Brain: An Innovative Approach to Hearing Aid Technology (tsmc.com) (清楚精美的英文圖片說明)

台積公司攜手Oticon公司打造人工智慧助聽器 (csr.tsmc.com)

台積電攜手Oticon 打造人工智慧助聽器 (中央社)

Oticon More™ Is The World’s First Hearing Aid To Let You Hear All Relevant Sounds Thanks To An On-board Deep Neural Network (oticon.global)

Oticon More™ - The World's First Hearing Aid Giving the Brain the Full Perspective (taiwannews.com.tw)

CES 2021 Innovation Award Product Oticon More™ (ces.tech)

2021年4月2日 星期五

聽力實驗常見的鼠類及相似動物

整理一下聽力實驗常見的鼠類及相似的動物

其中一部分的實驗是
感謝牠們付出生命造福聽損者!

--------
Rodent 嚙齒目 (order Rodentia) (參考:目order、科family、屬genus

Murid 鼠科(Muridae),嚙齒動目中數量最多的一科,超過700種

--------

Mouse 小鼠


Scid mouse

Unknown photographer, Public domain, via Wikimedia Commons

Rat 大鼠


WT and TK rat photo 

Chinchilla 栗鼠(毛絲鼠、南美栗鼠、絨鼠、絨毛鼠)

Chinchilla-Soelvmarmorert
Kjersti Holmang, CC BY-SA 3.0, via Wikimedia Commons

Gerbil 沙鼠

Gerbil 
   User:Rebroad, CC BY-SA 4.0, via Wikimedia Commons

Guinea Pig 天竺鼠(豚鼠、葵鼠、荷蘭豬) (天竺鼠車車)

Two Adult Guinea Pigs (cropped) 
Sandos (from Wikipedia), CC BY-SA 3.0, via Wikimedia Commons

相似動物:

Hamster 倉鼠(地鼠)

Roborofskiohamster 
   Dalius Baranauskas, CC BY 3.0, via Wikimedia Commons

chipmunk 花栗鼠 (迪士尼的奇奇與蒂蒂Disney's Chip and Dale)

Chipmunk (71669) 
Rhododendrites, CC BY-SA 4.0, via Wikimedia Commons

squirrel 松鼠 

Eichhörnchen Düsseldorf Hofgarten edit 

  Ray eye, CC BY-SA 2.0 DE, via Wikimedia Commons


正在享用食物的松鼠
2021/4/1 攝於國立中央大學中大湖旁
By Enoch H. Huang

栗鼠是灰色,比棕色加條紋的花栗鼠大

在大小上,栗鼠跟天竺鼠接近,沙鼠、花栗鼠跟倉鼠接近

沙鼠和倉鼠壽命約2-3年
天竺鼠壽命約5-7年


References: 

大鼠 (Wikipedia)
小鼠 (Wikipedia)

Escabi, C. D., Frye, M. D., Trevino, M., & Lobarinas, E. (2019). The rat animal model for noise-induced hearing loss. The Journal of the Acoustical Society of America, 146(5), 3692-3709.

花栗鼠聲音模擬實驗 (StudyEECC)

2020年5月26日 星期二

毛細胞 Hair cell

耳蝸內的毛細胞扮演了重要的角色
將震動波轉換為電訊號
大多數的聽損都是與毛細胞的受損有關

內毛細胞有一排
外毛細胞有三排,在頂部(apex)有些人有四排,第四排即使有也排得不整齊
兩者在沿著蝸軸排列的密度不同
外毛細排得較密集

鳥類的毛細胞約4週可以再生
哺乳類則不會再生
內耳是人體中不會產生癌症的部位
或許跟毛細胞不會再生有關係

外毛細胞的靜纖毛與覆膜/蓋膜(tectorial membranes)大致上有接觸到(Moore, 2013)
甚至是崁入在覆膜中
內毛細胞的靜纖毛則沒有接觸
請參考下圖
Organ of corti
Madhero88, CC BY-SA 3.0, via Wikimedia Commons
(Organ of Corti, Wikipeida)

內毛細胞主要負責聲音的傳導
外毛細胞主要負責音量的調整
皆有輸入(afferent)和輸出(efferent)兩種神經傳遞方向

外毛細胞的長度會隨著其內部電位而改變
稱為電動性(electromotility)
外毛細胞是感覺細胞,竟然有如肌纖維(muscle fibers)的收縮(contract)設計
內毛細胞和其他感覺細胞則不會收縮

Joe Santos Saatchi的實驗影片中(MIT Sensory Systems, 15. Hair cells, 1:03:39起)
將音樂訊號傳送至外毛細胞內的電極,則外毛細胞會隨音樂訊號伸縮變化
這是由於外毛細胞在去極化(depolarize,電位往正的方向,變得不那麼負)時長度會縮短
在過極化(hyperpolarize,電位降低)時則會拉長
因此外毛細胞可稱為耳蝸擴大器(cochlear amplifier)
是一種正回饋機制(positive feedback mechanism)

毛細胞處理轉換震動波的方式
除了使用神經傳導物質產生化學反應
也有物理上的機制,例如外毛細胞收縮的速度比肌肉細胞(muscle cell/fiber)還快
因為有這些比神經傳導等化學變化更快的反應,人才可以聽見高頻的聲音

人類約有3,500個內毛細胞
和12,000個外毛細胞
(MIT Sensory Systems, 16. Auditory Nerve, 4:35起)

每個負責聲音細節的內毛細胞
所連接的聽神經纖維稱為Type I Nerve Fibers
數量非常多
且有很多terminals
最多可有20個
(MIT Sensory Systems, 16. Auditory Nerve, 11:45起)

每個內毛細胞對應的外毛細胞有3個
外毛細胞負責音量調整
可稱為耳蝸放大器、耳蝸擴大機(cochlear amplifier)
在受傷時無法放大40-60dB,影響很大!
(MIT Sensory Systems, 16. Auditory Nerve, 1:10起)

外毛細胞有「主動機制」(active mechanism)
可以針對微弱的聲音增加基底膜(BM)的振動(vibration)
銳化(sharpen)調諧/調適曲線(tuning curve)
並以非線性的方式進行快速的壓縮(Professor Brian C.J. Moore's lecture, 22:35起)

外毛細胞所連接的聽神經纖維稱為Type II Nerve Fibers
雖然每組有3個外毛細胞
所連接的卻是同一條nerve fiber
而每根外毛細胞連接到這條nerve fiber僅透過3個terminals
(MIT Sensory Systems, 16. Auditory Nerve, 11:30起)

因此3個外毛細胞的聽神經纖維總數及terminals總數
比起對應的1個內毛細胞
在數量上都少都很多

貓的Nerve Fiber數量約50,000,比人還多:
Type I - 45,000,軸突(axon)比較粗,直徑約3-5µm,有髓鞘(myelinated)
Type II - 5,000,軸突(axon)比較細,直徑約0.3-0.5µm,無髓鞘(unmyelinated)
到影片錄製時為止,學者無法錄製Type II的訊號,尚不了解對於頻率響應的寬度,因為很細

參考資料:
Prof. M. Christian Brown, MIT 9.04 Sensory Systems, Fall 2013 (YouTube)
The beautiful, mysterious science of how you hear | Jim Hudspeth (TED)
毛細胞(Hair cells) (小小整理網站)

Hair cell (Wikipedia)
Organ of Corti (Wikipeida)


Moore, B. C. (2012). An introduction to the psychology of hearing, Brill, pp. 34-35

2019年2月9日 星期六

音壓等級 Sound Pressure Level (SPL)

Sound pressure level (SPL) 音壓/聲壓的等級或水準(level)是以分貝(dB)為單位,習慣上簡稱為音壓/聲壓,但和sound pressure不同,前者是一個比值(dB),後者則是壓力的大小(N/m2)。

Sound Pressure

音壓(sound pressure)的單位是每單位面積所受到的力(force,單位為牛頓Newton, N),由於力量並不大,所以前面加上10-6的μ符號,常用的單位為μN/m2,而N/m2等於帕斯卡(Pascal),即:

1 Pa (Pascal) = 1 N/m2

Sound Pressure Level (SPL)
音壓等級/聲壓度(sound pressure level, SPL)是一種計算聲音的單位,它表示了聲音的壓力大小,相對於一個選定的參考音壓大小Pref或Po。它的計算很簡單,只要將量測到的壓力除以參考音壓Pref或Po,取log後乘以20,即為單位為分貝(dB)的SPL值:

SPL = 20 log(P/Pref) where 參考音壓 Pref = Po = 20 μN/m2 = 20μPa = 2×10-5 Pa

而1 dB = JND (Just Noticeable Difference)最小可覺差 in SPL

當音壓等於參考音壓時,即P = Pref = 20 μN/m2 = 20μPa時,取對數後log(P/Pref) = log(1) = 0,故SPL為0 dB。

理想聽力的SPL閾值
由於參考音壓Pref = 20μPa在數十年前即已選定,當時是以聽見1 kHz的音壓為基準,隨著隔音技術的進步,後來研究發現正常聽力者在2-3 kHz,甚至4kHz可聽見較1 kHz更小的聲音(threshold),此時的音壓P < Pref 參考音壓,取log後會得到負值,如下圖最下方的閾值(threshold)曲線。此外,在此曲線上也可見到在1 kHz時的音壓SPL其實並不如最初設計時的理想而等於0,其實是有稍微大於0一點點的。

Lindos1.svg
Diagram from Wikipedia by Lindosland - http://en.wikipedia.org/wiki/Image:Lindos1.svg, Public Domain, Link

聽力檢查時,聽力圖所採用的單位則是聽力等級(Hearing Level, HL)。

dB SPL及 dB HL的比較圖可參考英國劍橋大學Prof. Brian Moore的演講影片(8:25處)

Reference:

Sound pressure (Wikipedia) / 聲壓 (維基百科)
14. Sound: External, middle and inner ears (MIT OpenCourseWare), 19'-21'
鄭靜宜, (2011). 語音聲學: 說話聲音的科學. 心理. p.19

Professor Brian C.J. Moore's lecture "Benefits and limitations of hearing aids" (YouTube)

2018年11月2日 星期五

從小男孩的夢想到人工電子耳 Form a boy's dream to cochlear implant

有多少人是從小就有清楚的夢想,而且隨著年紀漸長,當理解到面現實的困難與挑戰時,仍可不改初衷、克服重重的「不可能」,直到有一天不僅實現了自己夢想,更因此改變、造福了成千上萬的人?

將近80年前的澳洲小鎮裡,有一個5歲的小男孩,他的心中有個遠大的夢想,因為他看見自己的父親因著聽損而遇到許多的艱難,所以這位小男孩立志要解決、克服這個問題。

當他小學一年級時,老師問全班同學長大以後想做什麼,這位小男孩葛蘭.克拉克(Graeme Clark)很有自信地回答說:「我長大以後,要修好耳朵!」('When I grow up, I’m going to fix ears.')

在2015年出版的葛蘭.克拉克傳記裡,當年有幸教到這位小男孩的小學老師派翠西亞.海德(Patricia Hider)聊到此事的時,她很驕傲地說:「你知道嗎?他做到了!」

時間回到第二次世界大戰的年代,澳洲小學校園裡的男孩們喜歡玩軍人打仗的遊戲,而克拉克在其中則常常主動扮演醫生的角色,即使只是遊戲,也可明顯地看到他的與眾不同。

很少人像葛蘭.克拉克在如此年幼的時候就有非常清楚的人生目標,即使他並不了解自己的志向有多麼遠大且艱難,但老師和父母並沒有澆熄他的熱情,特別是他的父母,他們為他營造了適合成長的環境,包括提供一些適合孩子閱讀的書籍,以及醫藥相關的實驗與學習空間。

在家裡,克拉克印象最深刻的是讀到兩本書,分別是瑪麗·居禮(Marie Curie)和路易·巴斯德(Louis Pasteur)的傳記,此外,在爸爸經營的藥局和眼鏡行中,他不但了解到不同藥物成份對不同疾病的幫助,另外也在爸爸的同意下使用驗光儀器觀察眼睛的視網膜,啟發了他對醫學的興趣。在那個助聽器仍不發達的年代,由於經常看到聽損的爸爸與家人、顧客溝通上的困難,克拉克的目標也逐漸清晰。10歲時,當教會的牧師問到克拉克以後想做什麼,牧師原以為他會像其他的男孩想做蒸氣火車頭的司機員,沒想到這個鄉下小鎮男孩的回應很特別,他很清楚自己要當一名耳科及眼科醫生。

受到居禮夫人和微生物學之父巴斯德傳記的啟發,特別是看了巴斯德做實驗的記載,克拉克覺得自己也可以做得到!於是他在媽媽的洗衣房裡建立了自己的第一個實驗室。這間個人專屬的實驗室持續地在家中發展,一直到他進入醫學院後仍在使用。由於當時法令較不嚴格,克拉克曾帶了些「驚人的東西」回家解剖、收藏。最後,當他的父親在清理洗衣房時,發現瓶瓶罐罐的人體骨骼和器官,甚至包括了一個人腦!他的父親在當時真不知道應該打電話給醫院、警察,還是殯儀館!

夢想常不是一蹴可幾的,葛蘭.克拉克長大後經過在澳洲與英國多年的訓練,果真成為一名耳鼻喉科醫師,但距離「修好耳朵」仍有段距離。在克拉克成為醫師的1960年代,助聽器開始出現了,也對他的父親有一些幫助,但他在工作中接觸了許多嚴重聽損的病人,診察的結果往往是令人灰心的,束手無策的克拉克醫師只能眼睜睜地目送病人們帶著失望與落寞的神情離開,這些打擊讓他感到相當無力。

當克拉克31歲時出現了一道曙光,他讀到一篇學術論文,一位美國的學者使用電刺激讓聾人產生聽覺,即使當時的研究成果只有「聽見」而非「聽懂」,但克拉克彷彿在汪洋大海中找到了可緊握的浮木,這給了他一線希望,於是毅然決然的放下穩定且優渥的醫師工作,開始他的研究生涯與第二階段的尋夢之路。

實現人工電子耳是個不容易的過程,克拉克先前往雪梨大學攻讀博士學位,畢業後在墨爾本大學建立研究團隊,經過多年的努力,克服了技術上和資源上的重重困難,終於發明了可讓嚴重聽損者有效聽懂語音的多頻道人工電子耳,如今他的研究成果造福了全球超過40萬的重度聽障者,他的發明和他的故事確實是醫學界的一大奇蹟!

夢想可以是一生的志業,現在已年過80的克拉克教授,目前仍退而不休,持續地貢獻自己。他在2015年發表了一篇學術論文,回顧他數十年的研究成果,對學術界有很重要的參考價值,另外,他有時也在澳洲當地的會議上進行演講,並在相關的活動中接受媒體採訪,分享他所做的一切。克拉克教授的努力不懈與卓越貢獻不但值得敬佩,他義無反顧地執著於自己的夢想以及想要幫助人的信念與渴望,也激勵著我們勇敢地活出更有意義的人生。

參考資料

Graeme Clark (doctor)(Wikipedia)
Portrait Story I Graeme Clark, National Portrait Gallery, Australia (克拉克教授約5歲時開始有夢想)
Clark, G. (2000). Sounds from silence: Graeme Clark and the bionic ear story. Allen & Unwin.
Worthing, M. (2015). Graeme Clark: the man who invented the bionic ear. Allen & Unwin.
Clark, G. M. (2015). The multi-channel cochlear implant: Multi-disciplinary development of electrical stimulation of the cochlea and the resulting clinical benefit. Hearing research, 322, 4-13.
Clark, G. (2017). Creating the Bionic Ear: The Central Role of Cybernetics [Leading Edge]. IEEE Technology and Society Magazine, 36(2), 38-40.
澳洲人工電子耳發明人─克拉克教授(Prof. Graeme Clark)
多頻道人工電子耳蝸植入手術40週年紀念 The 40th Anniversary of the Melbourne Multi-channel CI Surgery
歷史上的人工電子耳:1978年的第一次開頻
中原大學(2003). 本校頒贈「人工電子耳之父」葛蘭克拉克教授-名譽工學博士學位
2015年,使用澳洲Cochlear電子耳使用者超過40萬人
9 News Melbourne, 2018/9 (澳洲最年長的人工電子耳使用者慶祝100歲生日,她於98歲接受耳蝸植入手術,克拉克教授亦有出席她的慶生會並接受電視採訪。)

瑪麗·居禮/居禮夫人 (維基百科)
路易·巴斯德 (維基百科)
F. Blair Simmons, MD (西蒙斯教授的研究啟發了克拉克教授)