[[326623]]

TensorFlow2.x在構(gòu)建模型和總體使用方面提供了很多便利。那么，在tf中有什么新功能？

• 使用Keras輕松進(jìn)行模型構(gòu)建；
• 在任何平臺上的生產(chǎn)中都可以進(jìn)行穩(wěn)健的模型部署；
• 強(qiáng)大的研究實(shí)驗(yàn)；
• 通過清理不推薦使用的API來簡化各個步驟

在本文中，我們將探索TF 2.0的10個功能，這些功能讓TensorFlow的使用更加順暢，減少了代碼行并提高了效率，因?yàn)檫@些函數(shù)/類屬于TensorFlow API。

1.用于構(gòu)建輸入管道的tf.data API

tf.data API提供了用于數(shù)據(jù)管道和相關(guān)操作的功能。 我們可以構(gòu)建管道，映射預(yù)處理功能，洗牌或批量處理數(shù)據(jù)集等等。

利用張量構(gòu)建管道

>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
>>> iter(dataset).next().numpy() 
8 

洗牌和批量處理數(shù)據(jù)集

# Shuffle 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6) 
>>> iter(dataset).next().numpy() 
0 
# Batch 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2) 
>>> iter(dataset).next().numpy() 
array([8, 3], dtype=int32) 
# Shuffle and Batch 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2) 
>>> iter(dataset).next().numpy() 
array([3, 0], dtype=int32) 

壓縮兩個數(shù)據(jù)集

>>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
>>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6]) 
>>> dataset = tf.data.Dataset.zip((dataset0, dataset1)) 
>>> iter(dataset).next() 
(<tf.Tensor: shape=(), dtype=int32, numpy=8>, <tf.Tensor: shape=(), dtype=int32, numpy=1>) 

映射外部函數(shù)

def into_2(num): 
     return num * 2 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2) 
>>> iter(dataset).next().numpy() 
16 

2.圖像數(shù)據(jù)生成器

這是tensorflow.keras API的最佳特性之一（在我看來）。圖像數(shù)據(jù)生成器能夠在批處理和預(yù)處理過程中生成數(shù)據(jù)集切片，并實(shí)時進(jìn)行數(shù)據(jù)擴(kuò)充。

生成器允許直接從目錄或數(shù)據(jù)幀進(jìn)行數(shù)據(jù)流。

對圖像數(shù)據(jù)生成器中的數(shù)據(jù)擴(kuò)充的一個誤解是，它向現(xiàn)有的數(shù)據(jù)集中添加了更多的數(shù)據(jù)。雖然這是數(shù)據(jù)增強(qiáng)的實(shí)際定義，但在圖像數(shù)據(jù)生成器中，數(shù)據(jù)集中的圖像在訓(xùn)練過程中會在不同的步驟進(jìn)行動態(tài)轉(zhuǎn)換，這樣模型就可以在沒有看到的噪聲數(shù)據(jù)上進(jìn)行訓(xùn)練。

train_datagen = ImageDataGenerator( 
        rescale=1./255, 
        shear_range=0.2, 
        zoom_range=0.2, 
        horizontal_flip=True 
) 

在這里，對所有樣本進(jìn)行重新縮放（用于規(guī)格化），而其他參數(shù)則用于擴(kuò)充。

train_generator = train_datagen.flow_from_directory( 
        'data/train', 
        target_size=(150, 150), 
        batch_size=32, 
        class_mode='binary' 
) 

我們?yōu)閷?shí)時數(shù)據(jù)流指定目錄，這也可以使用數(shù)據(jù)幀來完成。

train_generator = flow_from_dataframe( 
    dataframe, 
    x_col='filename', 
    y_col='class', 
    class_mode='categorical', 
    batch_size=32 
) 

x_col參數(shù)定義圖像的完整路徑，而y_col參數(shù)定義用于分類的標(biāo)簽列。

該模型可直接與生成器供電。盡管需要指定steps_per_epoch參數(shù)，實(shí)際上是采樣數(shù)/批量大小。

model.fit( 
    train_generator, 
    validation_data=val_generator, 
    epochs=EPOCHS, 
    steps_per_epoch=(num_samples // batch_size), 
    validation_steps=(num_val_samples // batch_size) 
) 

3.使用tf.image進(jìn)行數(shù)據(jù)擴(kuò)充

數(shù)據(jù)擴(kuò)充是必要的， 在數(shù)據(jù)不足的情況下，對數(shù)據(jù)進(jìn)行更改并將其視為單獨(dú)的數(shù)據(jù)點(diǎn)是在較少數(shù)據(jù)下進(jìn)行訓(xùn)練的一種非常有效的方法。

tf.image API具有用于轉(zhuǎn)換圖像的工具，以后可以通過前面討論的tf.data API將其用于數(shù)據(jù)增強(qiáng)。

flipped = tf.image.flip_left_right(image) 
visualise(image, flipped) 

以上代碼的輸出結(jié)果

saturated = tf.image.adjust_saturation(image, 5) 
visualise(image, saturated) 

以上代碼的輸出結(jié)果

rotated = tf.image.rot90(image) 
visualise(image, rotated) 

以上代碼的輸出結(jié)果

cropped = tf.image.central_crop(image, central_fraction=0.5) 
visualise(image, cropped) 

以上代碼的輸出結(jié)果

4.TensorFlow數(shù)據(jù)集

pip install tensorflow-datasets 

這是一個非常有用的庫，因?yàn)樗寝D(zhuǎn)儲來自Tensorflow收集的來自各個域的非常知名的數(shù)據(jù)集的唯一起點(diǎn)。

import tensorflow_datasets as tfds 
mnist_data = tfds.load("mnist") 
mnist_train, mnist_test = mnist_data["train"], mnist_data["test"] 
assert isinstance(mnist_train, tf.data.Dataset) 

tensorflow數(shù)據(jù)集可在下方鏈接中找到：

https://www.tensorflow.org/datasets/catalog/overview

音頻，圖像，圖像分類，對象檢測，結(jié)構(gòu)化，摘要，文本，翻譯，視頻是tfds提供的類型。

5.基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個新熱點(diǎn)。如果一個基準(zhǔn)模型已經(jīng)被其他人訓(xùn)練過，那對于我們來說這個模型就不再適用，也不切實(shí)際。遷移學(xué)習(xí)解決了這個問題，預(yù)先訓(xùn)練的模型可以為給定的用例重新使用，也可以為不同的用例進(jìn)行擴(kuò)展。

TensorFlow提供了基準(zhǔn)的預(yù)訓(xùn)練模型，可以很容易地擴(kuò)展到所需的用例。

base_model = tf.keras.applications.MobileNetV2( 
    input_shape=IMG_SHAPE, 
    include_top=False, 
    weights='imagenet' 
) 

這個base_model可以輕松地通過附加層或不同模型進(jìn)行擴(kuò)展， 例如：

model = tf.keras.Sequential([ 
    base_model, 
    global_average_layer, 
    prediction_layer 
]) 

6.估算器

估算器是TensorFlow完整模型的高級表示，其設(shè)計目的是易于縮放和異步訓(xùn)練--TensorFlow文檔

預(yù)制的估算器提供了非常高級的模型抽象，因此你可以直接專注于訓(xùn)練模型，而不必?fù)?dān)心較低級別的復(fù)雜性。 例如：

linear_est = tf.estimator.LinearClassifier( 
    feature_columns=feature_columns 
) 
linear_est.train(train_input_fn) 
result = linear_est.evaluate(eval_input_fn) 

這表明使用tf.estimator構(gòu)建和訓(xùn)練估算器非常容易， 估算器也可以自定義。

TensorFlow有許多預(yù)制的估算器，包括LinearRegressor，BoostedTreesClassifier等。可以去Tensorflow文檔了解完整內(nèi)容。

7.自定義層

對于許多層深層網(wǎng)絡(luò)而言，神經(jīng)網(wǎng)絡(luò)是眾所周知的，其中層可以是不同類型的。 TensorFlow包含許多預(yù)定義的層（例如Dense，LSTM等）。 但是對于更復(fù)雜的體系結(jié)構(gòu)，層的邏輯要比主層復(fù)雜得多。 對于此類實(shí)例，TensorFlow允許構(gòu)建自定義層。 這可以通過對tf.keras.layers.Layer類進(jìn)行子類化來完成。

class CustomDense(tf.keras.layers.Layer): 
    def __init__(self, num_outputs): 
        super(CustomDense, self).__init__() 
        self.num_outputs = num_outputs 
 
    def build(self, input_shape): 
        self.kernel = self.add_weight( 
            "kernel", 
            shape=[int(input_shape[-1]), 
            self.num_outputs] 
        ) 
 
    def call(self, input): 
        return tf.matmul(input, self.kernel) 

如文檔中所述，實(shí)現(xiàn)自己的層的最佳方法是擴(kuò)展tf.keras.Layer類并實(shí)現(xiàn)：

• __init__，您可以在其中進(jìn)行所有與輸入無關(guān)的初始化。
• 構(gòu)建，您可以在其中知道輸入張量的形狀，并可以進(jìn)行其余的初始化。
• 調(diào)用，您可以在其中進(jìn)行前向計算。

盡管可以在__init__本身中完成內(nèi)核初始化，但最好在build中進(jìn)行初始化，否則，你將必須在新圖層創(chuàng)建的每個實(shí)例上顯示指定input_shape。

8.定制化訓(xùn)練

tf.keras序列和模型API使訓(xùn)練模型更容易。 但是，大多數(shù)時候在訓(xùn)練復(fù)雜模型時會使用自定義損失函數(shù)。 此外，模型訓(xùn)練也可以與默認(rèn)訓(xùn)練不同（例如，將梯度分別應(yīng)用于不同的模型組件）。

TensorFlow的自動微分有助于以有效的方式計算梯度，這些原語用于定義自定義訓(xùn)練循環(huán)。

def train(model, inputs, outputs, learning_rate): 
    with tf.GradientTape() as t: 
        # Computing Losses from Model Prediction 
        current_loss = loss(outputs, model(inputs)) 
    # Gradients for Trainable Variables with Obtained Losses 
    dW, db = t.gradient(current_loss, [model.W, model.b]) 
    # Applying Gradients to Weights 
    model.W.assign_sub(learning_rate * dW) 
    model.b.assign_sub(learning_rate * db) 

可以針對多個時期重復(fù)此循環(huán)，并根據(jù)用例使用更自定義的設(shè)置。

9.檢查點(diǎn)

保存TensorFlow模型可以有兩種類型：

• SavedModel：保存模型的完整狀態(tài)以及所有參數(shù)。 這與源代碼無關(guān)。

model.save_weights（'checkpoint'） 

• 檢查點(diǎn)

檢查點(diǎn)捕獲模型使用的所有參數(shù)的精確值。 使用Sequential API或Model API構(gòu)建的模型可以簡單地以SavedModel格式保存。

但是，對于自定義模型，需要檢查點(diǎn)。

檢查點(diǎn)不包含對模型定義的計算的任何描述，因此通常僅在將使用保存的參數(shù)值的源代碼可用時才有用。

保存檢查點(diǎn)

checkpoint_path = “save_path” 
# Defining a Checkpoint 
ckpt = tf.train.Checkpoint(model=model, optimizer=optimizer) 
# Creating a CheckpointManager Object 
ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5) 
# Saving a Model 
ckpt_manager.save() 

從檢查點(diǎn)加載

TensorFlow通過遍歷具有命名邊的有向圖，從加載的對象開始，將變量與檢查點(diǎn)值匹配。

通過文檔進(jìn)行模型恢復(fù)的依賴圖

if ckpt_manager.latest_checkpoint: 
    ckpt.restore(ckpt_manager.latest_checkpoint) 

10. Keras Tuner

這是TensorFlow中的一個相當(dāng)新的功能。

!pip install keras-tuner 

超參數(shù)調(diào)整（Hyper parameter tuning，Hypertuning）是對定義ML模型配置的參數(shù)進(jìn)行篩選的過程。這些因素是特征工程和預(yù)處理后模型性能的決定因素。

# model_builder is a function that builds a model and returns it 
tuner = kt.Hyperband( 
    model_builder, 
    objective='val_accuracy',  
    max_epochs=10, 
    factor=3, 
    directory='my_dir', 
    project_name='intro_to_kt' 
) 

除了hyperand之外，bayesianomptimization和RandomSearch也可用于調(diào)整。

tuner.search( 
    img_train, label_train,  
    epochs = 10,  
    validation_data=(img_test,label_test),  
    callbacks=[ClearTrainingOutput()] 
) 
 
# Get the optimal hyperparameters 
best_hps = tuner.get_best_hyperparameters(num_trials=1)[0] 

此外，我們使用最佳超參數(shù)訓(xùn)練模型：

model = tuner.hypermodel.build(best_hps) 
model.fit( 
    img_train,  
    label_train,  
    epochs=10,  
    validation_data=(img_test, label_test) 
) 

11.分布式訓(xùn)練

如果你有多個GPU并且希望通過在多個GPU上分散訓(xùn)練循環(huán)來優(yōu)化訓(xùn)練，TensorFlow的各種分布式訓(xùn)練策略能夠優(yōu)化GPU的使用并為你操縱GPU上的訓(xùn)練。

MirroredStrategy是最常用的策略，它到底是怎么工作的？

1. 所有變量和模型圖都復(fù)制到副本上。
2. 輸入在副本中均勻分布。
3. 每個副本計算它接收到的輸入的損失和梯度。
4. 通過對所有副本進(jìn)行求和，可以同步這些漸變。
5. 同步之后，對每個副本上的變量副本進(jìn)行相同的更新。

strategy = tf.distribute.MirroredStrategy() 
with strategy.scope(): 
    model = tf.keras.Sequential([ 
        tf.keras.layers.Conv2D( 
            32, 3, activation='relu',  input_shape=(28, 28, 1) 
        ), 
        tf.keras.layers.MaxPooling2D(), 
        tf.keras.layers.Flatten(), 
        tf.keras.layers.Dense(64, activation='relu'), 
        tf.keras.layers.Dense(10) 
    ]) 
 
    model.compile( 
        loss="sparse_categorical_crossentropy", 
        optimizer="adam", 
        metrics=['accuracy'] 
    ) 

總結(jié)

TensorFlow足以構(gòu)建機(jī)器學(xué)習(xí)中的所有組件。 本教程的主要內(nèi)容是對TensorFlow提供的各種API的介紹，以及有關(guān)如何使用它們的快速操作指南。

Git代碼地址：https://github.com/rojagtap/tensorflow_tutorials