阿西什·瓦斯瓦尼
阿西什·瓦斯瓦尼(英語:Ashish Vaswani)是一名從事深度學習的計算機科學家[1],因其在人工智慧和自然語言處理(NLP)領域的重大貢獻而知名。他是開創性論文《Attention Is All You Need》的合著者之一[2],該論文介紹了Transformer模型,這是一種使用自注意力機制的新型架構,自此成為NLP領域許多最先進模型的基礎。Transformer架構是語言模型的核心,為ChatGPT等應用提供了動力[3][4][5]。他是Adept人工智慧實驗室的共同創辦人[6][7],也曾是Google大腦的研究科學家[8][9]。
職業生涯
2002年,瓦斯瓦尼完成貝拉理工學院梅斯拉分校電腦科學工程學的學業。2004年,他前往美國南加州大學繼續深造[10],並獲得博士學位[11]。他曾在Google擔任研究員[12],是Google大腦團隊的一員。 他曾是Adept AI Labs的聯合創始人之一,但後來離開該公司[13][14]。
知名作品
瓦斯瓦尼最知名的作品是2017年發表的論文《Attention Is All You Need》[15]。論文介紹了Transformer模型,該模型在序列到序列任務中避免使用遞歸,而完全依賴自注意力機制。該模型對隨後幾個最先進的NLP模型(包括BERT[16]、GPT-2和GPT-3)的開發起到重要作用。
參考資料
- ^ Ashish Vaswani. scholar.google.com. [2023-07-11]. (原始內容存檔於2023-12-22).
- ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. December 5, 2017. arXiv:1706.03762 [cs.CL].
- ^ Inside the brain of ChatGPT. stackbuilders.com. [2023-07-12]. (原始內容存檔於2023-12-08) (英語).
- ^ Understanding ChatGPT as explained by ChatGPT. Advancing Analytics. 2023-01-18 [2023-07-12]. (原始內容存檔於2023-07-12) (美國英語).
- ^ Seetharaman, Deepa; Jin, Berber. ChatGPT Fever Has Investors Pouring Billions Into AI Startups, No Business Plan Required. Wall Street Journal. 2023-05-08 [2023-07-12]. ISSN 0099-9660. (原始內容存檔於2023-11-06) (美國英語).
- ^ Introducing Adept. [2024-01-04]. (原始內容存檔於2024-02-23).
- ^ Top ex-Google AI researchers raise $8 million in funding from Thrive Capital. The Economic Times. May 4, 2023 [2024-01-04]. (原始內容存檔於2023-11-03).
- ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention is All You Need. May 21, 2017. arXiv:1706.03762 [cs.CL].
- ^ Shead, Sam. A.I. gurus are leaving Big Tech to work on buzzy new start-ups. CNBC. 2022-06-10 [2023-07-12]. (原始內容存檔於2024-02-29) (英語).
- ^ Team, OfficeChai. The Indian Researchers Whose Work Led To The Creation Of ChatGPT. OfficeChai. February 4, 2023 [2024-01-04]. (原始內容存檔於2023-11-29).
- ^ Ashish Vaswani's webpage at ISI. www.isi.edu. [2024-01-04]. (原始內容存檔於2023-10-14).
- ^ Transformer: A Novel Neural Network Architecture for Language Understanding. ai.googleblog.com. August 31, 2017 [2024-01-04]. (原始內容存檔於2021-10-27).
- ^ Rajesh, Ananya Mariam; Hu, Krystal; Rajesh, Ananya Mariam; Hu, Krystal. AI startup Adept raises $350 mln in fresh funding. Reuters. March 16, 2023 [2024-01-04]. (原始內容存檔於2023-05-20) –透過www.reuters.com.
- ^ Tong, Anna; Hu, Krystal; Tong, Anna; Hu, Krystal. Top ex-Google AI researchers raise funding from Thrive Capital. Reuters. 2023-05-04 [2023-07-11]. (原始內容存檔於2023-09-03) (英語).
- ^ USC Alumni Paved Path for ChatGPT. USC Viterbi | School of Engineering. [2024-01-04]. (原始內容存檔於2023-09-23).
- ^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. May 24, 2019. arXiv:1810.04805 [cs.CL].