應用

技術

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

搞機器學習還敲什么代碼

2021-12-16 14:15 媒體合作

導讀:亞馬遜云科技 re:Invent 大會可謂是云計算行業(yè)的“春晚”,IT 技術領域風向標級活動,連他們自家的西雅圖總部大廈也隨其更名為大會名,品牌影響之強,可見一斑。

  不寫代碼也能搞機器學習?!

  這是亞馬遜云科技在最近亞馬遜云科技 re:Invent 大會上公布的新工具,用于實現(xiàn)無代碼可視化機器學習。

  亞馬遜云科技 re:Invent 大會可謂是云計算行業(yè)的“春晚”,IT 技術領域風向標級活動,連他們自家的西雅圖總部大廈也隨其更名為大會名,品牌影響之強,可見一斑。

  10年來,這一活動上誕生了無數(shù)云計算乃至 AI 行業(yè)標桿產(chǎn)品,如 Amazon Mechanical Turk、Amazon Rekognition、Amazon SageMaker 等等。

  今年亞馬遜云科技 re:Invent 2021 同樣信息量巨大,最引人關注的,莫過亞馬遜云科技的機器學習平臺服務 Amazon SageMaker 迎來了一次“大爆發(fā)”。

  不只有無代碼開發(fā)機器學習模型這一道“菜品”,整個 AI 餐桌上,縱向看,亞馬遜云科技的12項產(chǎn)品已經(jīng)覆蓋了整個 AI 產(chǎn)業(yè)鏈——

  再從橫向看,從為個人開發(fā)者準備的入門免費算力池,到大廠專業(yè)人士所需的 AI 模型優(yōu)化工具,相應發(fā)布也一應俱全。甚至,考慮到 AI 發(fā)展迅猛的中國市場用戶,亞馬遜云科技還在B站提供帶中文字幕的大會實錄。

  現(xiàn)場演講中,CEO 還專門強調:「亞馬遜云科技會提供最廣泛最完整的全棧式機器學習服務」。

  不妨跟著我們一起回顧全程亮點,對亞馬遜云科技的 AI 產(chǎn)品脈絡有一番全面認識。

  不用代碼的機器學習

  還是先探探一開始提及的無代碼機器學習預測服務,看它是否真能讓不懂代碼的人上手。

  按官方介紹,這款產(chǎn)品名為Amazon SageMaker Canvas,面向零機器學習經(jīng)驗群體,他們中,也許有人是業(yè)務分析師,也許有人從事人力資源、財務或營銷等工作。

  可預見,上述群體中,多數(shù)人并沒有機器學習經(jīng)驗,甚至對代碼也毫無認知,卻肯定有通過數(shù)據(jù)來衡量當前策略、預測市場趨勢的需求。

  Amazon SageMaker Canvas就是將機器學習模型的諸多步驟可視化為可交互的 UI,旨在解決他們的業(yè)務問題,號稱:不寫一行代碼,快速生成機器學習預測模型。

  為了證實其有效性,亞馬遜云科技的 AI/ML 部門自己分享了一個案例。

  當中,該部門產(chǎn)品營銷經(jīng)理想通過 Amazon SageMaker Canvas 對當前營銷活動進行評估,判斷其是否具有足夠影響力和有效性。

  只需打開 Amazon SageMaker Canvas,上傳數(shù)據(jù)。該過程中,平臺還能自動糾正上傳數(shù)據(jù)錯誤,比如補充缺失值或刪除重復的行和列。其技術不出意外,同樣來自自家 AI/ML。

  接下來,指定模型預測的目標,再點擊「快速生成」,所需模型即可訓練得到。

  從結果看,呈現(xiàn)效果確是一個可視化圖表,模型準確度為93%。

  生成模型后,還可共享給數(shù)據(jù)科學家等合作伙伴,幫業(yè)務人員來進一步檢查或者優(yōu)化這些的模型。

  看完官方這一案例,該可視化界面的確有兩把刷子——

  那么合作方體驗又如何?

  目前,寶馬集團已將亞馬遜云科技 AI/ML 技術投入實際業(yè)務流程中的600多個應用中,涵蓋生產(chǎn)線到銷售端的多個場景,此外寶馬還有1500萬臺互聯(lián)汽車介入其中,一天產(chǎn)生數(shù)以百萬公里數(shù)據(jù)均交由 Amazon SageMaker Canvas 分析預測。

  西門子能源也是上手吃螃蟹者之一。他們將 Amazon SageMaker Canvas 作為自家機器學習工具包的補充,一位應用部門的數(shù)據(jù)科學組組長表示:Canvas 讓我們能與數(shù)據(jù)科學團隊共享協(xié)作,有助于生產(chǎn)更多機器學習模型,并確保模型符合質量標準和規(guī)范。

  還有很多名不見經(jīng)傳的巨頭也是 Canvas 體驗者,比如全球最大的非上市公司科赫集團的子公司英威達,也已經(jīng)用 Amazon SageMaker Canvas 來輔助處理業(yè)務流程中的數(shù)據(jù)科學問題。

  多方評價及直觀展示結果看完,大致可以判斷,此次 Amazon SageMaker Canvas 確實值得期待。畢竟圖形界面相比代碼釋放生產(chǎn)力創(chuàng)造價值的定律在過去已被反復證明。

  免費的線上 AI 實驗室

  前文提及,在年度重磅發(fā)布會亞馬遜云科技放下豪言:提供最廣泛最完整的全棧式機器學習服務,既然是「最廣泛最完整」,僅靠一個Amazon SageMaker Canvas的發(fā)布當然不夠——

  對廣大學研機構、AI 愛好者們,前沿技術巨人也需要對得起自己的口號。

  總結下來,三個字,降門檻。

  最直觀的,提供算力資源。

  近年來,高昂的硬件價格、復雜軟件配置一直阻礙初學者入門 AI 的腳步,也是限制行業(yè)發(fā)展,為更多人認知熟悉的巨大障礙。

  亞馬遜云科技發(fā)布功能Amazon Sagemaker Studio Lab提供一大團可薅的「羊毛」。無需額外環(huán)境配置、無需注冊賬戶、直接用電子郵件就能登錄進去的線上實驗室。

  在這一環(huán)境中,任何人創(chuàng)建的項目,都能直接擁有12個小時的 CPU 計算時間、4小時的 GPU 計算時間,以及15GB的存儲空間

  這樣的配置縱觀整個行業(yè),確實到位。

  要知道,在使用 Pandas 或 XGBoost 進行經(jīng)典 ML 算法訓練的數(shù)據(jù)預處理時,12小時 CPU 時間基本足夠。對于深度學習訓練,也可選擇 GPU 后端獲得4小時計算時間,足以在較小的數(shù)據(jù)集上進行訓練或微調模型。

  換句話說,對初學者階段 AI 模型,拿著上述資源基本都能免費訓練完成。

  同時,當下最流行的機器學習工具、框架和庫也被預先打包進去,提供給注冊者,能自定義 Conda 環(huán)境,也可安裝開源的 JupyterLab 和 Jupyter Server 擴展。上述實驗環(huán)境與 GitHub 緊密集成,使得創(chuàng)建的項目能夠被輕松地復制和保存。

  除免費“線上實驗室”及算力資源,另一部分「羊毛」更直觀——獎學金。

  此番亞馬遜云科技共拿出了1000萬美金,推出一項亞馬遜云科技AI&ML 獎學金計劃,旨在幫助16歲以上的高中、大學生,幫助他們鋪平通往機器學習相關職業(yè)之路。

  除此之外,亞馬遜云科技的1:18比例自動駕駛賽車 Amazon DeepRacer 也在面向自動駕駛、機器學習愛好者們,提供一種更有趣、門檻更低的方式幫助他們?nèi)腴T機器學習,訓練出可自己的強化學習模型。

  Amazon DeepRacer 由強化學習驅動,并能將算法部署于云端的 3D 賽車模擬器中,也可以通過實體小車體驗在真實世界中賽車的刺激感。

  當然,表現(xiàn)優(yōu)異者同樣直通獎學金計劃。

  不僅自己發(fā)光發(fā)熱,亞馬遜云科技還拉上英特爾,Udacity 做起聯(lián)名活動,面向16歲以上的經(jīng)濟困難、殘疾等社會弱勢群體發(fā)放2500份獎學金。

  獲得經(jīng)濟支持之外,這些弱勢人群們也能得到 Udacity 導師、亞馬遜云科技和英特爾技術大咖長達一年時間的指導和幫助。

  機器學習“工業(yè)化”重塑

  無論零代碼機器學習發(fā)布,還是面向更廣人群的普惠,背后還是技術撐腰。畢竟功能開發(fā)需要深刻場景理解及技術積淀,而「普惠」二字考驗的,還是技術企業(yè)的降本水平。

  相比上述兩者,亞馬遜云科技 re:Invent2021 面向專業(yè)從業(yè)者發(fā)布的 Amazon SageMaker 諸項新功能,更直觀展現(xiàn)亞馬遜云科技技術水準,從中,更可見技術巨頭對 AI/ML 未來的謀劃。

  對于廣大的 MLer 來說,一套完整的機器學習流程,包括數(shù)據(jù)準備、數(shù)據(jù)標注、訓練、推理、部署。最終模型推理效果如何,既依賴于開發(fā)者個人的水平,也會受架構、算力、數(shù)據(jù)這些外化因素的影響。

  亞馬遜云科技之所以這么做,是想要降低個人水平影響,用他們的話說:讓 AI/ML 從手工作坊走向工業(yè)化。

  具體來看,為一攬子解決問題,Amazon SageMaker 給出一套組合拳,涵蓋機器學習全流程:

  在數(shù)據(jù)準備階段,數(shù)據(jù)工程師常常需要離開當前開發(fā)環(huán)境,手動配置一個滿足正在運行的模型或分析要求的集群。

  為此,Amazon SageMaker Studio 與 Amazon EMR 進行了集成,可直接從 Amazon SageMaker Studio Notebook中使用 SparkUI 來監(jiān)視和調試運行在 Amazon ECR 集群上的 Spark 作業(yè)。

  鑒于無論執(zhí)行數(shù)據(jù)預處理、開發(fā)還是模型部署,都不必離開這個環(huán)境,上述動作無疑向一個理想的完全集成開發(fā)環(huán)境邁進了一步。

  數(shù)據(jù)標注階段也在告別勞動密集型,避免人工屈從于人工智能:

  這一工作以前需要人力手動標注,或通過數(shù)據(jù)標注程序處理,但現(xiàn)在,在給出原始數(shù)據(jù)和需求之后,Amazon SageMaker Ground Truth Plus 會結合機器學習協(xié)助的預標記,輔助人類專家進行標記。

  這種方式能降低錯誤率,同時將標注的成本降低40%,做到更高效地檢測錯誤,避免低質量標簽的出現(xiàn)。

  訓練階段的提升更為關鍵。

  強如業(yè)界經(jīng)典的深度學習模型 BERT ,數(shù)以十億級參數(shù)的復雜神經(jīng)網(wǎng)絡,需要用 GPU 訓練數(shù)千小時,即使調參優(yōu)化,也仍然需要幾天的時間訓練。

  但現(xiàn)在,亞馬遜云科技提供的機器學習模型優(yōu)化編譯器 Amazon SageMaker Training Compiler,實現(xiàn)無需增加太多代碼,即可提升 GPU 實例訓練速度。

  借助該編譯器,包括 BERT-base-cased、BERT-base-uncased、distilBERT-base-uncased 在內(nèi)的諸多經(jīng)典深度學習模型,訓練速度都能直接提升50%。

  添加兩行代碼就能使用Amazon SageMaker訓練編譯器

  最后是推理階段方面的提升。亞馬遜云科技拿出了之前一舉成名的「無服務器」概念,提供了一套無服務器推理功能的 Serverless Inference。

  該功能針對數(shù)據(jù)計算量波動性較強的情況,能夠將資源分配交給云端,享受一個彈性資源空間服務。讓程序員關注高級語言,而不用去關注底層硬件,讓專業(yè)人士專注擅長方向。

  考慮到現(xiàn)實中,很多客戶有專項需求,但很難判斷多少計算資源合適,另一功能 Amazon SageMaker Inference Recommender 則提供推理階段中的配置和實際運行參數(shù)推薦,在成本和速度之間找到最佳平衡點。

  從數(shù)據(jù)準備到推理階段,上述各個流程產(chǎn)品功能發(fā)布為全機器學習周期服務,而非單點拼湊而成,其目的在于:幫助企業(yè)實現(xiàn)機器學習的大規(guī)模運用,點連成線,打通了一條 AI/ML 工業(yè)化規(guī)模應用流程。

  那么這套組合拳的效果如何?

  可見案例中,美國最大基金管理公司之一 Vanguard 部署時間壓縮96%,醫(yī)藥巨頭阿斯利康在5分鐘內(nèi)即可完成機器學習環(huán)境部署,理財企業(yè) NerdWallet 在原有訓練需求增加前提下,成本反降75%。

  除此之外,更多元的落地場景,也能看出亞馬遜云科技對 AI/ML 的縱深挖掘。

  比如 DevOps Guru for RDS 可以用來幫助開發(fā)者檢測、診斷和解決 Amazon Aurora 中的性能和操作問題。

  比如 CodeGuru Reviewer 來識別源代碼中的密碼、 API 密鑰、 SSH 密鑰和訪問 token,提高代碼審查的效率,幫助傳統(tǒng)軟件行業(yè)提升效能。

  有趣的是,亞馬遜云科技 re:Invent 2021 大會舉辦期間,CTO Werner Vogels 還忙里偷閑發(fā)表的一篇博客,文中暴露了這位技術男對 AI/ML 產(chǎn)業(yè)的高期待:

  軟件開發(fā)將從人力密集開始轉變,人工智能支持的軟件開發(fā)將占據(jù)主導地位。

  最后硬件上,亞馬遜云科技還發(fā)布了自研芯片,而且還是一口氣推出了三款。

  其中,CPU 芯片 Graviton3 就以機器學習為主打特征。

  更有機器學習定制訓練芯片 Trainium,支持 Trn1 實例,能夠為用戶在云中訓練深度學習模型提供更高性價比和更快速度。

  無論是打通AI/ML 工業(yè)化規(guī)模應用流程,還是硬件自研芯片發(fā)布,更宏觀層面看——

  上述發(fā)布動作昭示了亞馬遜云科技在 AI/ML 業(yè)務肉眼可見的延伸。

  亞馬遜云科技正在拓展 AI 疆界

  根據(jù) IDC 的數(shù)據(jù),從2013年至2020年的7年內(nèi),全球 AI/ML 年支出規(guī)模從0迅速擴大到約500億美元,該增速幾乎是亞馬遜云科技老本行云計算的2倍。

  正是看見這一趨勢,亞馬遜云科技多路出擊似乎也是必然。

  從無代碼機器學習、無服務器應用深入 AI/ML,到底層算力繼續(xù)升級,乃至諸多普惠計劃…令人眼花繚亂的發(fā)布無不昭示亞馬遜云科技正在重新劃定機器學習的全新的疆界。

  盡管上述發(fā)布還未落地結果,其展現(xiàn)出的價值普通大眾一時未必肉眼可見,但從另一個視角看,所謂追求長期價值,所謂看重基礎設施布局,不就顯而易見地寫在亞馬遜云科技 DNA 里么?

  回想1997年,貝索斯發(fā)布了那封廣為人知的「致股東一封信」。

  彼時初代互聯(lián)網(wǎng)泡沫正在累積,「快錢」之于很多人尚且是全新概念,當時的 Amazon 就提出客戶、銷售和品牌增長無不為了長期價值服務,同樣為長期價值,貝索斯強調了對「系統(tǒng)及其它基礎設施」的持續(xù)投入。

  此后,Amazon Web Services 獨立運作,將云計算從「概念」變成實實在在的一個行業(yè),更有 Amazon Redshift、Amazon Lambda 帶出云原生數(shù)倉、無服務器路線發(fā)展…

  一切的一切,似乎都早早寫下序章。

  現(xiàn)在亞馬遜云科技帶著同樣心態(tài)持續(xù)押注 AI/ML 領域,本身也就不令人意外了。

  這既是身為技術巨頭的責任所在,也的確讓人有所期待,正呼應今年亞馬遜云科技 re:Invent 2021 的 Slogan :引領風向,重塑未來。

  我們已能看到,AI/ML 領域人群覆蓋在擴大,其行業(yè)場景在延伸,其技術也相應繼續(xù)深探,這一過程還在被行業(yè)技術探路者們持續(xù)推進。

  未來,AI/ML 的疆域究竟有多大?亞馬遜云科技正在一點點劃定新的輪廓。