我想要解決的問題是：在一輛車?yán)镉幸粋€攝像頭，我想知道車開得有多快。你顯然不能看速度表，只能看視頻片段本身。深度學(xué)習(xí)魔法應(yīng)該能幫助我們。

數(shù)據(jù)

我有兩個不同的視頻。一個用于訓(xùn)練，另一個用于測試。訓(xùn)練視頻有20399幀，測試視頻有10797幀。視頻下載地址：https://github.com/commaai/speedchallenge。下面是一些例子：

視頻中的樣本圖像

訓(xùn)練視頻的標(biāo)簽是a .txt文件，其中每一行對應(yīng)于特定幀的速度。

方法

這個問題最有趣的地方是你的神經(jīng)網(wǎng)絡(luò)輸入會是什么樣子。僅從一個靜態(tài)圖像計算速度是不可能的。一種有效的方法是將兩個或更多的圖像堆疊在一起，或者像LSTM或Transformer那樣連續(xù)地堆疊。另一個是計算光流，我決定用它。

什么是光流?它基本上是一種為每個像素計算矢量的方法，告訴你兩幅圖像之間的相對運動。有一個很棒的computerphile視頻：https://www.youtube.com/watch?v=4v_keMNROv4，你可以了解更多細(xì)節(jié)。有一些“經(jīng)典”的計算機視覺算法可以用來計算光流，但深度學(xué)習(xí)已經(jīng)變得更好了(這一點也不奇怪)。那么什么是SOTA方法，讓我們看看paperswithcode：

RAFT 看起來不錯，它還有PyTorch的實現(xiàn)。我forked原始存儲庫，并使其更簡單一些。我不需要訓(xùn)練，評估等等。我只會用它來推理。

計算光流

為了進(jìn)行推斷，網(wǎng)絡(luò)將兩幅圖像拼接起來，并預(yù)測了一個維度為*(2, image_height, image_width)*的張量。如前所述，圖像中的每個像素對應(yīng)一個二維向量。我們將在實際訓(xùn)練中使用這些文件，因此我們將它們保存為.npy文件。如果你想象光流圖像它會是這樣的：

訓(xùn)練

記住我們訓(xùn)練的目的：

光流→模型→車速估計

我選擇的模型是EfficientNet。我非常喜歡它，因為它的可擴(kuò)展性。它有8個不同的版本供你選擇，最大的一個，EfficientNet-B7仍然非常非常好。你可以從一個像B0這樣的小變體開始，然后如果一切工作正常，你有一個足夠好的GPU，你可以選擇一個更大的。還有一個PyTorch庫，我會使用它來非常容易地加載預(yù)先訓(xùn)練好的網(wǎng)絡(luò)模型，地址：https://github.com/lukemelas/effecentnet-PyTorch。如果你打開[train.ipynb](https://github.com/sharifelfouly/vehicle-speed - estimate)，你就可以看到訓(xùn)練是如何運作的。

我總是從B0開始，然后放大到B3，因為我的GPU只有6 GB內(nèi)存。經(jīng)過訓(xùn)練，我得到如下結(jié)果(loss為均方誤差)：

訓(xùn)練損失

驗證損失

很好，看起來一切都很正常!訓(xùn)練和驗證損失都在降低，網(wǎng)絡(luò)沒有過擬合。

結(jié)果如下：

雖然不完美，但它確實有一些用

總結(jié)

我通常不太喜歡特征工程，但我認(rèn)為在這種情況下它做得很好。下一步是嘗試一些序列化的東西，比如Transformer或LSTM。