成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

基于AWS使用深度學習的10個Linux命令

人工智能 深度學習
在AWS上執(zhí)行大規(guī)模的深度學習處理是一個廉價而且有效的學習和開發(fā)方式。花少量的錢就可以使用數(shù)十GB的內存,數(shù)十個CPU,多個GPU,這是值得推薦的。

[[202723]]

在AWS上執(zhí)行大規(guī)模的深度學習處理是一個廉價而且有效的學習和開發(fā)方式。花少量的錢就可以使用數(shù)十GB的內存,數(shù)十個CPU,多個GPU,這是值得推薦的。

如果你是使用EC2或者Linux 命令的新人,在云端執(zhí)行深度學習腳本的時候, 這些命令是非常有效的。

本文的主要內容包括:

  1. 在本機和EC2實例間復制數(shù)據(jù)
  2. 使腳本按天,周,月安全地運行
  3. 監(jiān)測進程,系統(tǒng)和GPU 的性能

注意:所有命令在類linux環(huán)境中執(zhí)行(Linux,OS x 或者 cygwin)

0、環(huán)境約定

假設AWS EC2 已經正常運行,方便起見,對環(huán)境做如下的設定:

  1. EC2 服務器的IP地址為 54.218.86.47
  2. 用戶名為ec2-user
  3. SSH 密鑰位于 ~/.ssh/ 中,文件名為aws-keypair.pem;
  4. 使用Python 腳本工作

關于如何搭建一個 基于GPU的EC2實例來 執(zhí)行深度學習,可以參見:

https://machinelearningmastery.com/develop-evaluate-large-deep-learning-models-keras-amazon-web-services/

1、 登陸到服務器

在做任何操作之前,首先要登陸到目標服務器。簡單地,使用SSH命令。將SSH 密鑰存儲在 ~/.ssh/ 中,使用有意義的文件名,例如aws-keypair.pem。使用如下命令登陸EC2主機,注意地址和用戶名:

  1. ssh -i ~/.ssh/aws-keypair.pem ec2-user@54.218.86.47 

2、 拷貝文件到服務器

使用SCP命令拷貝本地文件到服務器,例如將script.py 文件拷貝到EC2 服務器的命令如下:

  1. scp -i ~/.ssh/aws-keypair.pem script.py ec2-user@54.218.86.47:~/ 

3、使腳本在服務器的后臺運行

在服務的后臺執(zhí)行腳本,可以忽略其他進行的信號量,忽略標準的輸入輸出,將所有的輸出和錯誤信息重定向到一個日志文件中。對于需要長時間運行的深度學習模型而言, 這是非常必要的。

  1. > nohup python /home/ec2-user/script.py >/home/ec2-user/script.py.log </dev/null 2>&1 & 

該命令中script.py 和 script.py.log 都位于 /home/ec2-user/ 目錄下。關于 nohup 和重定向 參考其他的詳細介紹(例如wikipedia中的介紹)。

4、在服務器的指定 GPU 上執(zhí)行腳本

如果EC2 支持的話,推薦在同時運行多個腳本。例如,EC2有4個GPU的話, 可以在每個GPU上單獨運行一個腳本,示例代碼如下:

  1. CUDA_VISIBLE_DEVICES=0  nohup python /home/ec2-user/script.py >/home/ec2-user/script.py.log </dev/null 2>&1 & 

如果有4個GPU的話,可以指定CUDA_VISIBLE_DEVICES從0到3。這在TF做后臺的Keras上是可行的,在Theano 沒有測試過。

關于CUDA_VISIBLE_DEVICES 的更多信息可以參見https://devblogs.nvidia.com/parallelforall/cuda-pro-tip-control-gpu-visibility-cuda_visible_devices/

5、監(jiān)測腳本的輸出

如果輸出結果中有項目評分或者一個算法的運行結果,實時監(jiān)控腳本的輸出是很有意義的。示例如下:

  1. tail -f script.py.log 

遺憾的是,當屏幕上在一段時間沒有輸出的時候,AWS 會關閉這個終端,所以最好使用:

  1. watch "tail script.py.log" 

有的時候看不到python的標準輸出,不知道是python的問題還是EC2的問題。

6、監(jiān)測系統(tǒng)和進程的性能

監(jiān)測EC2系統(tǒng)的性能是有意義的,尤其是已經使用了或還剩下多少內存。例如:

  1. top -M 

或者指定進程標識PID:

  1. top -p PID -M 

7、監(jiān)測GPU 性能

如果在GPU上同時執(zhí)行多個腳本,并行執(zhí)行的話,查看每個GPU 的性能和使用率是不錯的主意。例如:

  1. watch "nvidia-smi" 

8、檢查腳本是否還在服務器上運行

一般地,會保持終端一直是開著的。

  1. watch "ps -ef | grep python" 

9、在服務器上編輯文件

一般不建議在服務器直接修改,當然你熟知vi除外:

  1. vi ~/script.py 

vi 的用法就不在這里贅述了。

10、從服務器上下載文件

與上傳文件相對,這是一個下個png文件的例子:

  1. scp -i ~/.ssh/aws-keypair.pem ec2-user@54.218.86.47:~/*.png . 

需要注意的幾點

  • 如果希望同時運行多個腳本,最好選用擁有多個GPU 的EC2
  • 最好在本地編寫腳本
  • 將執(zhí)行結果輸出到文件,下載到本地進行分析
  • 使用watch 命令保持終端處于運行中
  • 在本地執(zhí)行遠程命令 
責任編輯:龐桂玉 來源: 36大數(shù)據(jù)
相關推薦

2017-09-05 13:30:25

AWS深度學習Linux

2018-09-13 10:00:02

Linux命令危險命令

2017-03-20 14:37:43

Linux命令

2014-03-17 17:27:51

Linux mvLinux 命令

2017-05-22 12:30:15

深度學習人工智能

2023-05-22 08:00:00

深度學習機器學習人工智能

2014-04-08 15:05:11

LinuxLinux命令行補全命令

2018-04-20 09:58:10

Linux命令sudo

2015-12-03 09:46:50

收集硬件Linux命令

2013-12-23 11:01:14

命令Linux命令

2014-03-18 14:00:19

Linux監(jiān)控命令

2015-11-17 09:35:26

開源學習框架

2018-09-18 10:55:24

人工智能機器學習深度學習

2018-08-16 13:56:32

2022-10-26 15:41:38

深度學習Deepfake機器學習

2024-11-04 08:14:48

2013-11-19 11:59:49

Linux命令Shell腳本

2018-08-20 19:00:56

Linux性能檢測命令

2011-07-06 09:27:55

Linux命令

2013-12-06 17:39:49

Linuxps命令
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 久久精品国产免费看久久精品 | av香蕉| www.99re| www.4567| 高清国产午夜精品久久久久久 | www狠狠爱com | 国产免费观看久久黄av片涩av | 久久草在线视频 | 老牛影视av一区二区在线观看 | 久久久久久久久综合 | 日韩一区二区在线看 | 7777久久 | 久久精品视频网站 | 日本超碰在线 | 免费一级大片 | 欧美二级| 亚洲一区二区中文字幕 | 中文字幕欧美日韩一区 | 中文字幕高清免费日韩视频在线 | 久久久久免费精品国产小说色大师 | 亚洲成人午夜电影 | 免费的色网站 | 亚洲高清在线观看 | 东方伊人免费在线观看 | 超碰在线国产 | 久久日韩精品一区二区三区 | 暖暖日本在线视频 | 精品一区二区久久久久久久网精 | 日韩亚洲视频 | 国产美女一区二区 | 国产精品黄色 | 欧美日韩专区 | 美国十次成人欧美色导视频 | 久久精品久久久久久 | 国产精品美女久久久久久久久久久 | 亚洲字幕在线观看 | 天天天久久久 | 青草青草久热精品视频在线观看 | 91久久精品国产免费一区 | 夏同学福利网 | 夜夜草|