成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

合并Spark社區代碼的正確姿勢

大數據 Spark
最近剛剛忙完Spark 2.2.0的性能測試及Bug修復,社區又要發布2.1.2了,國慶期間剛好有空,過了一遍2.1.2的相關JIRA,發現有不少重要修復2.2.0也能用上,接下來需要將有用的PR合到我們內部維護的2.2.0分支上了。

最近剛剛忙完Spark 2.2.0的性能測試及Bug修復,社區又要發布2.1.2了,國慶期間剛好有空,過了一遍2.1.2的相關JIRA,發現有不少重要修復2.2.0也能用上,接下來需要將有用的PR合到我們內部維護的2.2.0分支上了。

經常有朋友問我是怎么把社區的PR合到自己分支上的,我之前跟他們介紹的做法是基于PR拉分支,在IDEA中單個文件diff合并。如果是偶爾合下社區代碼,這種方式也不算太費事。但是如果PR中改動的文件較多,或者要合并多個PR過來,這種方式也挺麻煩。

[[206086]]

廢話到此,這篇文章是介紹,如何高效地合并Spark社區PR到自己維護的分支(常說的打Patch),當然,針對其他開源項目,該方法同樣適用。

PR:Pull Request是GitHub上的一個功能,開源代碼的貢獻者,通過發起一個Pull Request向社區貢獻代碼。

準備Spark代碼

一般來說,自己維護一套Spark代碼,需要Fork下社區項目,在clone自己Fork的代碼,進行開發。我這里以Spark 2.2.0為例。

1、 clone自己Fork的倉庫到本地

 

  1. # stanzhai是我的GitHub賬號,大家需要換成自己的倉庫地址  
  2. git clone https://github.com/stanzhai/spark.git  
  3. cd spark 

2、 添加一個名為upstream的遠程倉庫指向社區的版本庫

  1. git remote add upstream https://github.com/apache/spark.git 

3、 設置PR引用,編輯git配置vi .git/config,找到upstream,添加最后一行fetch

 

  1. [remote "upstream" 
  2. url = https://github.com/apache/spark.git  
  3. fetch = +refs/heads/*:refs/remotes/upstream/*  
  4. fetch = +refs/pull/*/head:refs/remotes/upstream/pr/* # 注意添加這行 

4、 同步遠端庫,更新分支引用(每次合并前都需要執行)

  1. git remote update 

5、 checkout一個2.2.0的維護分支

  1. git checkout -b my-2.2.0 v2.2.0 

我們創建了一個基于2.2.0的my-2.2.0分支,下面的示例是將社區PR合并到my-2.2.0分支中。

提交給社區的PR大致分為2類:

  • PR被接受,且被合并到社區的倉庫
  • PR沒有合并到社區倉庫,(代碼沒問題,有可能commiter還沒來得及處理)

整合已被社區合并的PR

被合并到社區的PR已經做了rebase處理,對于這種PR,合并到自己的分支中是非常簡單的事情,直接使用git的cherry-pick就可以搞定。

我們以這個卡片為例:https://issues.apache.org/jira/browse/SPARK-22083

這個卡片被標記為resolved,而且PR也被合到社區倉庫了:https://github.com/apache/spark/pull/19311,我們打開這個鏈接,到頁面下方,找到這個位置:

 

[[206087]]

打開后,會跳轉到這個地址:https://github.com/apache/spark/commit/2c5b9b1173c23f6ca8890817a9a35dc7557b0776,地址中后面的一長串就是我們需要的commit-id,得到這個就可以直接合并代碼了:

 

  1. git remote update  
  2. git cherry-pick 2c5b9b1173c23f6ca8890817a9a35dc7557b0776 

執行完,提示以下信息就表示合并成功了:

 

  1. ➜ spark git:(my-2.2.0) ✗ git cherry-pick 2c5b9b1173c23f6ca8890817a9a35dc7557b0776 
  2. [my-2.2.0 529f5ea55ff] [SPARK-22083][CORE] Release locks in MemoryStore.evictBlocksToFreeSpace 
  3. Author: Imran Rashid 
  4. Date: Mon Sep 25 12:02:30 2017 -0700 
  5. 2 files changed, 153 insertions(+), 13 deletions(-) 

如果合并的代碼恰好也被你改過了,那么有可能會出現沖突,這種情況正常解決沖突,然后git commit就可以了。

整合尚未合并到社區的PR

由于一個PR可能包含多次提交,整合未合并到社區的PR就比較麻煩了。Spark的主干代碼每天都有變動,直接對比兩個不同的分支變動通常會比較大,我們需要將PR中n次提交的代碼的所有變更梳理出來,然后在做整合。

我們以這個PR為例:https://github.com/apache/spark/pull/19301,這個PR實現上還有待改進,但可以正常工作,因此還沒合入社區,我們將這個PR合并到my-2.2.0分支,需要進行以下操作:

 

  1. # 更新遠程倉庫及版本引用信息 
  2. git remote update 
  3.  
  4. # 基于某個PR創建一個分支,這里的19301是這個PR在GitHub上的id 
  5. git checkout -b pr-19301 upstream/pr/19301 
  6. git checkout pr-19301 
  7.  
  8. # PR分支大都基于master開發,以upstream/master分支為基準,重新apply PR分支上的修改 
  9. git rebase upstream/master 
  10.  
  11. # 通過diff提取這次PR的patch文件 
  12. git diff upstream/master > pr-19301.patch 
  13.  
  14. # 到目標分支打patch 
  15. git checkout my-2.2.0 
  16. git apply --reject pr-19301.patch 
  17.  
  18. # 查看上一步apply的狀態 
  19. git status 
  20.  
  21. # apply有可能會不成功,尚未apply的patch被存放到*.rej文件中,需要手動處理,最后提交即可 
  22. git commit -a 
  23.  
  24. # 清理 
  25. rm pr-19301.patch 
  26. rm *.rej 
  27. git branch -D pr-19301 

參考

Useful Developer Tools

A successful Git branching model

Git 分支 - 分支的衍合

最后

上述方法不能保證合PR 100%成功,原則上你的分支和社區代碼約近,沖突越少,越容易處理。Spark 2.x的代碼有很大的變動,把針對2.x的PR打到1.6的分支上,往往是個麻煩事。

責任編輯:未麗燕 來源: 知乎
相關推薦

2018-01-11 15:31:39

命令Linux關機

2017-02-23 15:37:44

OptionObject容器

2016-05-09 10:41:03

算法分析開發

2017-07-10 13:09:45

前端Flexbox

2017-03-16 11:39:33

Openstack源碼姿勢

2023-01-30 07:41:43

2021-01-08 08:10:34

MySQL表空間回收

2016-12-12 08:48:24

2019-12-27 15:58:57

大數據IT互聯網

2021-09-15 16:20:02

Spring BootFilterJava

2024-09-25 08:22:06

2019-10-30 17:06:50

AWS物聯網IoT

2020-02-24 15:26:40

Python短信免費

2016-01-05 11:28:20

按需付費云計算docker

2019-01-02 10:49:54

Tomcat內存HotSpot VM

2025-03-11 00:55:00

Spring停機安全

2022-03-28 11:10:35

ShellBash forLinux

2017-06-19 17:43:04

網絡帶寬網絡設計

2017-12-12 16:43:54

SparkHadoop水平

2015-07-13 11:32:09

PHP程序員正確姿勢
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日韩亚洲视频在线 | 中文字幕亚洲在线 | 午夜精品一区二区三区在线视频 | 99re在线视频| 国产精品一区二区免费 | 亚洲综合成人网 | 日韩av在线免费 | 久久久久无码国产精品一区 | 欧美成人精品一区二区三区 | 国产国产精品久久久久 | 中文字幕日韩三级 | 成人午夜毛片 | 中文字幕第二十页 | 在线91 | 毛片视频免费观看 | 一区二区三区四区毛片 | 日本a v在线播放 | 天天操天天操 | 在线中文字幕亚洲 | 91看片网| 国产成人麻豆免费观看 | 国产一区二区电影 | 国产日韩欧美在线观看 | 国产精品视频一区二区三区四蜜臂 | 久久精品中文字幕 | 性精品 | 国产精品福利视频 | 日韩国产在线观看 | 国产精品成人一区二区三区 | 免费的色网站 | 国产精品成人一区二区三区夜夜夜 | 成人精品在线视频 | 精精国产xxxx视频在线 | 91精品国产综合久久婷婷香蕉 | 91久久精品国产91久久 | 能看的av| 97超碰成人 | 国产精品国产三级国产a | 免费观看毛片 | 亚洲成人一区二区 | 一区在线播放 |