Kafka將為信息系統(tǒng)提供LinkedIn為商務(wù)人士所做的事情

必要性仍然是發(fā)明之母。正如一位精明的顧問曾經(jīng)告訴我的那樣，“如果某個組織需要發(fā)生某些事情，它就會發(fā)生。” 他的觀點(diǎn)有兩方面：1)有些人總能找到辦法完成任務(wù); 而且，2)高級管理層，甚至是中層管理人員，很可能不知道在他們自己的機(jī)構(gòu)內(nèi)如何完成工作。

如果我們將這個比喻擴(kuò)展到整個數(shù)據(jù)管理領(lǐng)域，我們可以看到現(xiàn)在正在發(fā)生轉(zhuǎn)變。大數(shù)據(jù)的原始壓力與流數(shù)據(jù)軸相結(jié)合，造成了如此大的壓力，以至于傳統(tǒng)系統(tǒng)在邊緣處磨損，如果不是完全崩潰的話。盡管如此，目前還有無數(shù)專業(yè)人士正在開展工作，他們基本上沒有意識到這一現(xiàn)實(shí)。

數(shù)據(jù)傳播的數(shù)據(jù)驅(qū)動型企業(yè)擁有前排座位，并在很多方面推動了這一變化。想想像Yahoo!，F(xiàn)acebook和LinkedIn這樣的強(qiáng)國如何通過他們對開源的巨大捐款將企業(yè)軟件產(chǎn)業(yè)轉(zhuǎn)向一邊：Hadoop，Cassandra和現(xiàn)在的Kafka，所有這些都是由Apache基金會領(lǐng)導(dǎo)的，它本身就是一個核心參與者。 metamorhphosis。

所有這些變化的結(jié)果是什么?我們今天目睹的是數(shù)據(jù)管理本身的分類重新分類和重組。這并不是說遺留系統(tǒng)現(xiàn)在將被刪除和替換。任何行業(yè)資深人士都會告訴你，遺產(chǎn)系統(tǒng)的大規(guī)模解散發(fā)生的頻率與芝加哥小熊隊(duì)贏得世界大賽一樣頻繁。至少可以說，這是一個罕見的事件。

真正發(fā)生的事情是，在舊世界系統(tǒng)周圍建造了一個超級結(jié)構(gòu)。考慮州際高速公路的類比，它通常高于他們所服務(wù)的城市和城鎮(zhèn)，旨在將人員和貨物運(yùn)送到這些人口中心，并為其中的任何人和任何事物提供出口。它們不會取代現(xiàn)有的道路，而是用高速替代品來增加它們。

這正是Apache Kafka所做的：它為信息系統(tǒng)之間和之間的數(shù)據(jù)移動提供了高速路徑。按照高速公路類比，仍有許多公司使用線性消息隊(duì)列，或舊標(biāo)準(zhǔn)的ETL(extract-transform-load); 但是這些路徑的速度限制很慢，而且有許多坑洼; 此外，維護(hù)成本往往過高; 標(biāo)牌很差。

Kafka提供了一種交付數(shù)據(jù)的替代方法，一種絕對實(shí)時，可擴(kuò)展且經(jīng)久耐用的方法。這意味著Kafka不僅是數(shù)據(jù)移動工具，也是數(shù)據(jù)復(fù)制者; 并且在一定程度上是分布式數(shù)據(jù)庫技術(shù)。我們應(yīng)該謹(jǐn)慎對待類比太多，因?yàn)镵afka還沒有運(yùn)動的ACID兼容數(shù)據(jù)庫的特征。不過，這種變化是真實(shí)的。

這對于信息領(lǐng)域來說是個好消息，因?yàn)閿?shù)據(jù)現(xiàn)在可以自由地在和世界各地移動。曾經(jīng)是一個痛苦的約束，即打擊ETL過程的批處理窗口，現(xiàn)在消散很多，因?yàn)殪F讓位于炎熱太陽的強(qiáng)光下清除天空。當(dāng)將數(shù)據(jù)從一個系統(tǒng)移動到另一個系統(tǒng)變得邊緣無縫時，一個新的機(jī)會時代就會到來。

人類可能是數(shù)據(jù)新未來之路上最大的摩擦。舊習(xí)難改。Nary一位CIO對于對企業(yè)系統(tǒng)進(jìn)行批量更改感到非常興奮。一位精明的高級管理人員表示：“準(zhǔn)備好寂寞。” 在評論的一年內(nèi)，他是一名顧問。這不是一條容易的道路，試圖管理非常笨拙的企業(yè)數(shù)據(jù)世界。

好消息是卡夫卡提供了未來的入口。因?yàn)樗且粋€高性能，多方面的消息總線，它在遺留系統(tǒng)和前瞻性系統(tǒng)之間架起了橋梁。因此，以開放的思想和充足的預(yù)算接受這個新機(jī)會的組織將能夠進(jìn)入新的世界，而不會拋棄舊的世界。這是一個非常重要的事情。

下到商業(yè)

雖然Apache Kafka是一種開源技術(shù)，任何人都可以免費(fèi)下載和使用，但為LinkedIn創(chuàng)建此軟件的人們已經(jīng)分拆了一個名為Confluent的獨(dú)立實(shí)體，該實(shí)體專注于加強(qiáng)企業(yè)使用的產(chǎn)品。就像Cloudera，Hortonworks和MapR圍繞Apache Hadoop的開源項(xiàng)目建立他們的業(yè)務(wù)一樣，因此Confluent尋求通過Kafka獲利。

在最近的InsideAnalysis采訪中，Confluent首席執(zhí)行官兼聯(lián)合創(chuàng)始人Jay Kreps解釋了其在LinkedIn的起源：

“我們試圖在那里解決幾個不同的問題。一個是，我們擁有所有這些不同數(shù)據(jù)系統(tǒng)和不同類型的數(shù)據(jù)。我們有數(shù)據(jù)庫，我們有日志文件，我們有關(guān)于服務(wù)器的指標(biāo)，我們有用戶點(diǎn)擊的東西。獲取所有數(shù)據(jù) - 因?yàn)樗兊煤艽?- 真的很難。數(shù)據(jù)的強(qiáng)大功能只有在你可以將它應(yīng)用到應(yīng)用程序，處理或需要它的系統(tǒng)時才會出現(xiàn)。這是一個大問題。

“我們遇到的另一個問題是我們采用了Hadoop，這是我參與的事情。我們有這個奇妙的離線處理平臺，我們可以擴(kuò)展，我們可以將所有數(shù)據(jù)放入。對于LinkedIn，我們所有的數(shù)據(jù)都是真實(shí)的時間。持續(xù)生成數(shù)據(jù)?？偸谴嬖谶@種不匹配，因?yàn)槲覀冊噲D從我們的數(shù)據(jù)中實(shí)際構(gòu)建業(yè)務(wù)的關(guān)鍵部分;在每天運(yùn)行一次，可能在晚上運(yùn)行并在第二天生成結(jié)果之間，這種連續(xù)的數(shù)據(jù) - 短暫的交互時間 - 你必須要趕上。我們希望能夠在學(xué)術(shù)界做一段時間的事情，但實(shí)際上并不是一個主流的東西，它應(yīng)該是能夠在生成數(shù)據(jù)時利用和處理數(shù)據(jù)流，而不是他們坐下來。“

好。這正是Confluent現(xiàn)在尋求的各種形狀和大小的企業(yè)數(shù)據(jù)。在比賽中的機(jī)會?格林菲爾德。坦率地說，在企業(yè)軟件的整個歷史中，人們可以爭辯說，這種技術(shù)的可尋址市場絕對占上風(fēng)。沒有一個大型組織，甚至是數(shù)據(jù)量很大的小型企業(yè)，都無法從這項(xiàng)技術(shù)中獲益匪淺。

由于該技術(shù)的神經(jīng)學(xué)方面，尤其如此; 不僅僅是涉及的思想，而是卡夫卡為信息系統(tǒng)所做的事情的本質(zhì)。因?yàn)镵afka可以用來管理整個組織的數(shù)據(jù)移動，所以它可以被視為不僅僅是交通，而是操作本身的大腦。我們處于該愿景的早期階段，但請放心，這是真的。

Kafka如何改變數(shù)據(jù)管理

要了解Kafka如何改變數(shù)據(jù)管理的本質(zhì)，只需考慮LinkedIn改變網(wǎng)絡(luò)的方式。找到同事變得如此容易; 與人保持聯(lián)系現(xiàn)在很容易。Kafka將為LinkedIn為商務(wù)人士所做的事情提供信息系統(tǒng)：讓他們在這個地球的最廣泛范圍內(nèi)保持聯(lián)系。

Confluent的衍生產(chǎn)品象征著我們可能稱之為“新創(chuàng)新”的事物，這是一種由軟件開發(fā)和封閉源性思維脫鉤驅(qū)動的運(yùn)動，由開源技術(shù)的創(chuàng)造者引導(dǎo)，由大量風(fēng)險資本推動，貨幣化尋求改變組織和人員如何創(chuàng)建，收集，分析和利用數(shù)據(jù)的營利性公司。

引用Franz Kafka的話說，“從某一點(diǎn)開始，不再有任何回頭。這是必須達(dá)到的點(diǎn)。”