優(yōu)步新的Neuropod界面抽象了多框架AI開(kāi)發(fā)

優(yōu)步科技公司(Uber Technologies Inc.)的自動(dòng)駕駛團(tuán)隊(duì)今天推出了開(kāi)源的Neuropod，該技術(shù)旨在減少企業(yè)開(kāi)發(fā)人員在構(gòu)建和部署人工智能模型時(shí)必須進(jìn)行的編碼工作。

Neuropod試圖解決的問(wèn)題是Uber在內(nèi)部遇到的一個(gè)問(wèn)題。擁有大型內(nèi)部人工智能開(kāi)發(fā)操作的企業(yè)經(jīng)常在其項(xiàng)目中使用多個(gè)人工智能開(kāi)發(fā)框架，如TensorFlow和PyTorch。使用不同框架創(chuàng)建的模型具有截然不同的技術(shù)屬性，這使得使用它們非常困難。

這個(gè)問(wèn)題主要?dú)w結(jié)為應(yīng)用程序編程接口。例如，將一個(gè)TensorFlow計(jì)算機(jī)視覺(jué)模型合并到一個(gè)服務(wù)中需要添加對(duì)該服務(wù)的TensorFlow api的支持，以及對(duì)創(chuàng)建它所涉及的許多開(kāi)發(fā)工具的支持。如果一家公司希望在混合中添加一個(gè)PyTorch模型，它的開(kāi)發(fā)人員將不得不重新執(zhí)行相同的工作。如果需要靈活地使用多個(gè)AI框架，那么這個(gè)任務(wù)必須在組織的所有AI應(yīng)用程序中重復(fù)執(zhí)行。

Uber創(chuàng)建Neuropod的目的就是為其工程師消除這種重復(fù)工作。該工具作為TensorFlow等框架的api和使用它們的應(yīng)用程序之間的抽象接口。應(yīng)用程序與Neuropod交互，而不是與TensorFlow api交互。因此，開(kāi)發(fā)人員只需添加對(duì)Neuropod的支持，他們的工作負(fù)載就會(huì)自動(dòng)兼容多個(gè)AI框架。

Uber自動(dòng)駕駛業(yè)務(wù)高級(jí)工程師Vivek Panyam在一篇博客文章中解釋道:“Neuropod從問(wèn)題定義的概念開(kāi)始——對(duì)模型需要解決的“問(wèn)題”的正式描述?！薄巴ㄟ^(guò)正式定義一個(gè)問(wèn)題，我們可以把它當(dāng)作一個(gè)接口，然后抽象出具體的實(shí)現(xiàn)。每個(gè)Neuropod模型都實(shí)現(xiàn)了一個(gè)問(wèn)題定義。因此，任何解決相同問(wèn)題的模型都是可以互換的，即使它們使用不同的框架。”

該工具提供的互換性有幾個(gè)好處。如果軟件團(tuán)隊(duì)在一個(gè)框架中為應(yīng)用程序構(gòu)建了一個(gè)人工智能模型，然后使用另一個(gè)框架創(chuàng)建一個(gè)更新、更好的模型，那么新版本可以簡(jiǎn)單地放到舊版本的位置上?；蛘?，如果一家企業(yè)希望將其AI開(kāi)發(fā)工作流從TensorFlow切換到PyTorch，這個(gè)任務(wù)會(huì)變得相當(dāng)簡(jiǎn)單。

Neuropod的第三個(gè)用途是將部署模型從生產(chǎn)簡(jiǎn)化。Neuropod將模型捆綁在一個(gè)統(tǒng)一的“Neuropod”或包中，這比AI框架的api更容易使用。優(yōu)步使用這些包來(lái)優(yōu)化在顯卡集群上部署內(nèi)部模型的模型服務(wù)平臺(tái)。

Panyam寫(xiě)道:“如果沒(méi)有Neuropod，模型服務(wù)平臺(tái)就需要擅長(zhǎng)遠(yuǎn)程運(yùn)行Keras、遠(yuǎn)程運(yùn)行TensorFlow、遠(yuǎn)程運(yùn)行PyTorch、遠(yuǎn)程運(yùn)行TorchScript等等?！遍_(kāi)發(fā)人員將不得不為每一個(gè)添加單獨(dú)的優(yōu)化?！叭欢?，通過(guò)使用Neuropod，模型服務(wù)可以非常擅長(zhǎng)遠(yuǎn)程運(yùn)行Neuropod，而Neuropod也可以非常擅長(zhǎng)從多個(gè)框架運(yùn)行模型?！?/p>

優(yōu)步表示，到目前為止，該公司的工程師已經(jīng)使用Neuropod部署了數(shù)百種模型，涵蓋了自動(dòng)駕駛和餐廳菜單轉(zhuǎn)錄等領(lǐng)域。因?yàn)樗情_(kāi)源的，所以其他組織理論上可以根據(jù)自己的具體需求定制該工具。優(yōu)步已經(jīng)在GitHub上提供了Neuropod的代碼。