??想了解更多內(nèi)容，請(qǐng)?jiān)L問：??

??51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)??

??https://ost.51cto.com??

大家好! 我是深圳技術(shù)大學(xué)FSR實(shí)驗(yàn)室的同學(xué)，在OpenHarmony成長(zhǎng)計(jì)劃啃論文俱樂部里，與華為、軟通動(dòng)力、潤(rùn)和軟件、拓維信息、深開鴻等公司一起，學(xué)習(xí)和研究序列化相關(guān)技術(shù)…

【本期看點(diǎn)】

• Apache Avro發(fā)展時(shí)間及應(yīng)用。
• 文獻(xiàn)場(chǎng)景概述。
• 與Apache Avro集成后的Twister體系結(jié)構(gòu)。

Apache Avro發(fā)展時(shí)間及應(yīng)用

開源地址：apache/avro: Apache Avro is a data serialization system. (github.com)。

今天我們要講的是Apache Avro,其是Hadoop的一個(gè)子項(xiàng)目，由Hadoop的創(chuàng)始人Doug Cutting牽頭開發(fā)。Avro是一個(gè)數(shù)據(jù)序列化系統(tǒng)，設(shè)計(jì)用于支持大批量數(shù)據(jù)交換的應(yīng)用。它的主要特點(diǎn)有：支持二進(jìn)制序列化方式，可以便捷，快速地處理大量數(shù)據(jù);動(dòng)態(tài)語言友好，Avro提供的機(jī)制使動(dòng)態(tài)語言可以方便地處理Avro數(shù)據(jù)。

其主要應(yīng)用場(chǎng)景也是在大數(shù)據(jù)處理方面。

Apache Avro的 schema可以為單個(gè)字段聲明潛在類型的有序列表。在這些情況下，Apache Avro二進(jìn)制編碼會(huì)在值的前面加上一個(gè)32位 ZigZag編碼的小尾端基數(shù)128(LEB128)可變長(zhǎng)度有符號(hào)整數(shù)，該整數(shù)對(duì)應(yīng)于有序類型列表的索引。

對(duì)于多種類型組成的字段,會(huì)被編碼為數(shù)據(jù)類型索引(Type index)。例如下圖，如果schema定義了一個(gè)類型為[“string”、“int”、“null”]的字段，那么如果值是字符串，則該值將以0x00作為前綴，如果值是整數(shù)，則以0x02作為前綴，如果值為空，則以0x04作為前綴，然后作為數(shù)據(jù)段的類型索引(Type index)。

文獻(xiàn)場(chǎng)景概述

這次我分享的文獻(xiàn)是關(guān)于Apache Avro在Twister信息傳遞系統(tǒng)的應(yīng)用,該項(xiàng)目的目標(biāo)是研究并實(shí)現(xiàn)一種用于Twister消息傳遞系統(tǒng)的新方法。

Twister是一個(gè)迭代的MapReduce框架，它將MapReduce范式提升到了一個(gè)更高的層次，滿足了迭代性質(zhì)的應(yīng)用。Twister通過Narada Brokering使用發(fā)布/訂閱消息系統(tǒng)，但是由此引發(fā)的問題是，與較小的控制消息相比，在交換相對(duì)較大的數(shù)據(jù)消息時(shí)，消息傳遞體驗(yàn)會(huì)延遲。

為了研究這個(gè)問題，該論文提出了另一種方法實(shí)現(xiàn)，就是通過遠(yuǎn)程過程調(diào)用(RPC)，并且選擇Apache Avro作為RPC框架,所有計(jì)算節(jié)點(diǎn)都可以直接從彼此發(fā)送和接收數(shù)據(jù)，而不是通過代理系統(tǒng)。下面我們來看看Apache Avro和原Narada Brokerin系統(tǒng)的性能差別吧。

與Apache Avro集成后的Twister體系結(jié)構(gòu)

如上圖，ApacheAvro用于Twister驅(qū)動(dòng)程序(Twister Driver)和Twister Daemon之間，以及Twister Daemon之間的通信。每個(gè)節(jié)點(diǎn)都可以通過RPC和序列化直接相互通信，而不是通過代理系統(tǒng)發(fā)送或接收消息。這樣就可以消除了發(fā)布/訂閱代理系統(tǒng)與計(jì)算節(jié)點(diǎn)之間的通信開銷和瓶頸。

測(cè)試結(jié)果

上圖展示了使用我們Apache Avro和原Narada Brokerin系統(tǒng)在不同的數(shù)據(jù)大小上運(yùn)行K-means算法的時(shí)間性能差別。正如我們所期望的，這個(gè)基于Apache Avro的替代方法可以減少通信開銷并提高系統(tǒng)性能。

??想了解更多內(nèi)容，請(qǐng)?jiān)L問：??

??51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)??

??https://ost.51cto.com??