成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

函數是怎么創建的,背后經歷了哪些過程?

開發 前端
因為一個 PyCodeObject 是對一段代碼的靜態表示,Python 編譯器將源代碼編譯之后,針對里面的每一個代碼塊(code block)都會生成相應的 PyCodeObject 對象,該對象包含了這個代碼塊的一些靜態信息,也就是可以從源代碼中看到的信息。

楔子

前面我們介紹了函數的基本結構,它在底層由 PyFunctionObject 結構體表示,那么本篇文章來看看函數的創建過程。

正好明天周六日,可以慢慢看[doge]。

函數是何時創建的

介紹函數結構時,我們看到內部有一個 func_code 字段,指向一個 PyCodeObject 對象,而函數就是根據 PyCodeObject 對象創建的。

因為一個 PyCodeObject 是對一段代碼的靜態表示,Python 編譯器將源代碼編譯之后,針對里面的每一個代碼塊(code block)都會生成相應的 PyCodeObject 對象,該對象包含了這個代碼塊的一些靜態信息,也就是可以從源代碼中看到的信息。

比如某個函數對應的代碼塊里面有一個 a = 1 這樣的表達式,那么符號 a 和整數 1、以及它們之間的聯系就是靜態信息。這些信息會被靜態存儲起來,符號 a 被存在符號表 co_varnames 中,整數 1 被存在常量池 co_consts 中。然后 a = 1 是一條賦值語句,因此會有兩條指令 LOAD_CONST 和 STORE_FAST 存在字節碼指令序列 co_code 中。

這些信息是在編譯的時候就可以得到的,因此 PyCodeObject 對象是編譯之后的結果。

但 PyFunctionObject 對象是何時產生的呢?顯然它是 Python 代碼在運行時動態產生的,更準確的說,是在執行一個 def 語句的時候創建的。當虛擬機發現了 def 語句,那么就代表發現了新的 PyCodeObject 對象,因為它們是可以層層嵌套的。

然后虛擬機會根據這個 PyCodeObject 對象創建對應的 PyFunctionObject 對象,并將變量名和 PyFunctionObject 對象(函數體)組成鍵值對放在當前的 local 空間中。

而在 PyFunctionObject 對象中,也需要拿到相關的靜態信息,因此會有一個 func_code 字段指向 PyCodeObject。

除此之外,PyFunctionObject 對象還包含了一些函數在執行時所必需的動態信息,即上下文信息。比如 func_globals,就是函數在執行時關聯的 global 名字空間,如果沒有這個空間的話,函數就無法訪問全局變量了。

由于 global 作用域中的符號和值必須在運行時才能確定,所以這部分必須在運行時動態創建,無法靜態存儲在 PyCodeObject 中。因此要基于 PyCodeObject 對象和 global 名字空間來創建 PyFunctionObject 對象,相當于一個封裝??傊磺械哪康?,都是為了更好地執行字節碼。

我們舉個例子:

# 首先虛擬機從上到下執行字節碼
name = "古明地覺"
age = 17

# 啪,很快啊,出現了一個 def
def foo():
    pass

# 出現了 def,虛擬機就知道源代碼進入了一個新的作用域了
# 也就是遇到一個新的 PyCodeObject 對象了
# 而通過 def 關鍵字知道這是一個函數,于是會進行封裝
# 將 PyCodeObject 封裝成 PyFunctionObject,同時包含了全局名字空間
# 所以當執行完 def 語句之后,一個函數就被創建了
# 然后將變量名 foo 和函數體(PyFunctionObject)組成鍵值對存放在當前的 local 空間中
# 當然對于模塊而言,local 空間也是 global 空間
print({k: v for k, v in locals().items() if k == "foo"})
"""
{'foo': <function foo at 0x102d5bf40>}
"""

# 函數內部也保存了 global 空間
print(foo.__globals__ is globals() is locals())
"""
True
"""
print(foo.__globals__["foo"] is foo is locals()["foo"])
"""
True
"""

調用的時候,會從 local 空間中取出符號 foo 對應的 PyFunctionObject 對象(函數對象)。然后根據函數對象創建棧幀對象,也就是為函數創建一個棧幀,隨后將執行權交給新創建的棧幀,并在新創建的棧幀中執行字節碼。

函數是怎么創建的

經過分析我們知道,當執行到 def 語句時會創建函數,并保存在 local 空間中。而通過函數名()進行調用時,會從 local 空間取出和函數名綁定的函數對象,然后執行。

那么問題來了,函數(對象)是怎么創建的呢?或者說虛擬機是如何完成 PyCodeObject 對象到 PyFunctionObject 對象之間的轉變呢?顯然想了解這其中的奧秘,就必須從字節碼入手。

import dis

code_string = """
name = "satori"
def foo(a, b):
    print(a, b)

foo(1, 2)
"""

dis.dis(compile(code_string, "<func>", "exec"))

源代碼很簡單,定義一個變量 name 和一個函數 foo,然后調用函數。顯然這里面會產生兩個 PyCodeObject,我們來看一下。

0 RESUME                   0

 # name = "satori"
 2 LOAD_CONST               0 ('satori')
 4 STORE_NAME               0 (name)

 # 我們看到 PyCodeObject 也會作為常量被靜態收集
 # 這里是將常量池中索引為 1 的 PyCodeObject 壓入運行時棧
 6 LOAD_CONST               1 (<code object foo at 0x7f5d...>)
 # 從棧中彈出 PyCodeObject,然后構建函數對象
 # 將函數對象(的指針)再壓入運行時棧
 8 MAKE_FUNCTION            0
 # 從棧中彈出函數對象,并用符號 foo 綁定起來
 # 到此函數就創建完畢了
10 STORE_NAME               1 (foo)
 
 # 以下是 foo(1, 2) 對應的字節碼
12 PUSH_NULL
 # 加載全局變量 foo 并壓棧
14 LOAD_NAME                1 (foo)
 # 加載常量 1 和 2 并壓棧
16 LOAD_CONST               2 (1)
18 LOAD_CONST               3 (2)
 # 從棧中彈出函數和參數,然后調用
 # 將調用結果、即函數的返回值壓入棧中
20 CALL                     2
 # 從棧頂彈出返回值,因為我們沒有使用變量保存,所以會直接丟棄
 # 如果使用變量保存了,比如 res = foo(1, 2),那么這里的字節碼就是 STORE_NAME
28 POP_TOP
30 RETURN_CONST             4 (None)
 
 # 以上是模塊對應的字節碼指令,下面是函數對應的字節碼指令
Disassembly of <code object foo at 0x7f5d..., file "<func>", line 3>:
 0 RESUME                   0
 
 # 比較簡單,就是 print(a, b) 對應的字節碼
 2 LOAD_GLOBAL              1 (NULL + print)
12 LOAD_FAST                0 (a)
14 LOAD_FAST                1 (b)
16 CALL                     2
24 POP_TOP
26 RETURN_CONST             0 (None)

通過字節碼我們看到,def 關鍵字實際上還是在定義變量,正所謂函數即變量,我們可以把函數當成普通的變量來處理。函數名就是變量名,它位于模塊對應的 PyCodeObject 的符號表中。函數體就是變量指向的值,它是基于一個獨立的 PyCodeObject 構建的。

至此,函數的結構就已經非常清晰了。

分析完結構之后,重點就要落在 MAKE_FUNCTION 指令上了,我們說當遇到 def 關鍵字的時候,就知道要創建函數了。在語法上這是函數的聲明語句,但從虛擬機的角度來看,這其實是函數對象的創建語句。

所以函數是怎么創建的,就是執行 MAKE_FUNCTION 指令創建的,該指令執行完畢后,一個函數對象就被壓入了運行時棧。等到 STORE_NAME 執行時,再將它從棧中彈出,然后和變量(函數名)綁定起來。

MAKE_FUNCTION 指令

下面我們就來分析一下 MAKE_FUNCTION 指令,看看它是怎么將一個 PyCodeObject 對象變成一個 PyFunctionObject 對象的。

TARGET(MAKE_FUNCTION) {
    // 獲取 PyCodeObject 對象
    PyObject *codeobj = stack_pointer[-1];

    // 編譯時,解釋器能夠靜態檢測出函數有沒有閉包變量、類型注解等屬性,并體現在 oparg 中
    // 構建函數時,通過 oparg 和一系列標志位做按位與,來判斷函數是否包含指定屬性
    // 由于 oparg 是指令參數,所以這些屬性是否存在、以及如何訪問,在編譯階段就已經確定了
    PyObject *closure = (oparg & 0x08) ? stack_pointer[...] : NULL;
    PyObject *annotations = (oparg & 0x04) ? stack_pointer[...] : NULL;
    PyObject *kwdefaults = (oparg & 0x02) ? stack_pointer[...] : NULL;
    PyObject *defaults = (oparg & 0x01) ? stack_pointer[...] : NULL;
    PyObject *func;
    #line 3267 "Python/bytecodes.c"
    
    // 基于 PyCodeObject 和全局名字空間,來構建 PyFunctionObject
    PyFunctionObject *func_obj = (PyFunctionObject *)
        PyFunction_New(codeobj, GLOBALS());

    Py_DECREF(codeobj);
    if (func_obj == NULL) {
        goto error;
    }
    // 設置閉包變量、類型注解、默認值等屬性
    if (oparg & 0x08) {
        assert(PyTuple_CheckExact(closure));
        func_obj->func_closure = closure;
    }
    if (oparg & 0x04) {
        assert(PyTuple_CheckExact(annotations));
        func_obj->func_annotations = annotations;
    }
    if (oparg & 0x02) {
        assert(PyDict_CheckExact(kwdefaults));
        func_obj->func_kwdefaults = kwdefaults;
    }
    if (oparg & 0x01) {
        assert(PyTuple_CheckExact(defaults));
        func_obj->func_defaults = defaults;
    }

    func_obj->func_version = ((PyCodeObject *)codeobj)->co_version;
    // 函數創建之后,將棧里的元素彈出,然后將函數對象壓入棧中
    func = (PyObject *)func_obj;
    #line 4534 "Python/generated_cases.c.h"
    STACK_SHRINK(((oparg & 0x01) ? 1 : 0) + ((oparg & 0x02) ? 1 : 0) + 
        ((oparg & 0x04) ? 1 : 0) + ((oparg & 0x08) ? 1 : 0));
    stack_pointer[-1] = func;
    DISPATCH();
}

整個步驟很好理解,然后創建函數體用的是 PyFunction_New,看一下它的邏輯。

// Objects/funcobject.c
PyObject *
PyFunction_New(PyObject *code, PyObject *globals)
{
    return PyFunction_NewWithQualName(code, globals, NULL);
}


PyObject *
PyFunction_NewWithQualName(PyObject *code, 
                           PyObject *globals, 
                           PyObject *qualname)
{
    assert(globals != NULL);
    assert(PyDict_Check(globals));
    // 給全局名字空間增加引用計數
    Py_INCREF(globals);
    // 獲取線程狀態對象
    PyThreadState *tstate = _PyThreadState_GET();
    // 給 PyCodeObject 對象增加引用計數
    PyCodeObject *code_obj = (PyCodeObject *)Py_NewRef(code);

    assert(code_obj->co_name != NULL);
    // 獲取 co_name 并增加引用計數
    PyObject *name = Py_NewRef(code_obj->co_name);
    
    // 獲取 co_qualname,如果存在,增加引用計數
    if (!qualname) {
        qualname = code_obj->co_qualname;
    }
    assert(qualname != NULL);
    Py_INCREF(qualname);
    
    // 獲取常量池
    PyObject *consts = code_obj->co_consts;
    assert(PyTuple_Check(consts));
    // 函數的 docstring 也會被收集到常量池中,并且是常量池的第一個元素
    // 如果函數沒有 docstring,那么常量池的第一個元素會是 None
    PyObject *doc;
    if (PyTuple_Size(consts) >= 1) {
        doc = PyTuple_GetItem(consts, 0);
        // 如果第一個元素不是字符串,則說明函數沒有 docstring
        if (!PyUnicode_Check(doc)) {
            doc = Py_None;
        }
    }
    else {
        doc = Py_None;
    }
    Py_INCREF(doc);

    // 獲取 __module__,并增加引用計數
    PyObject *module = PyDict_GetItemWithError(
            globals, &_Py_ID(__name__));
    PyObject *builtins = NULL;
    if (module == NULL && _PyErr_Occurred(tstate)) {
        goto error;
    }
    Py_XINCREF(module);
    // 獲取 __builtins__,并增加引用計數
    builtins = _PyEval_BuiltinsFromGlobals(tstate, globals);
    if (builtins == NULL) {
        goto error;
    }
    Py_INCREF(builtins);
    
    // 為函數對象申請內存空間
    PyFunctionObject *op = PyObject_GC_New(
            PyFunctionObject, &PyFunction_Type);
    if (op == NULL) {
        goto error;
    }
    
    // 初始化函數對象的內部屬性
    op->func_globals = globals;
    op->func_builtins = builtins;
    op->func_name = name;
    op->func_qualname = qualname;
    op->func_code = (PyObject*)code_obj;
    op->func_defaults = NULL;    
    op->func_kwdefaults = NULL;  
    op->func_closure = NULL;
    op->func_doc = doc;
    op->func_dict = NULL;
    op->func_weakreflist = NULL;
    op->func_module = module;
    op->func_annotations = NULL;
    op->func_typeparams = NULL;
    op->vectorcall = _PyFunction_Vectorcall;
    op->func_version = 0;
    _PyObject_GC_TRACK(op);
    handle_func_event(PyFunction_EVENT_CREATE, op, NULL);
    return (PyObject *)op;

error:
    Py_DECREF(globals);
    Py_DECREF(code_obj);
    Py_DECREF(name);
    Py_DECREF(qualname);
    Py_DECREF(doc);
    Py_XDECREF(module);
    Py_XDECREF(builtins);
    return NULL;
}

以上就是函數對象的創建過程,說白了就是對 PyCodeObject 進行了一個封裝。等函數對象創建完畢后會回到 MAKE_FUNCTION,然后設置閉包、注解等屬性,并將函數對象壓入棧中。接著執行 STORE_NAME 從符號表中加載符號(函數名),并從棧頂彈出函數對象,然后將兩者組成鍵值對存儲在當前棧幀的 local 名字空間中,整體還是比較簡單的。

但如果再加上類型注解、以及默認值,會有什么效果呢?

import dis

code_string = """
name = "satori"
def foo(a: int = 1, b: int = 2):
    print(a, b)
"""

dis.dis(compile(code_string, "<func>", "exec"))

我們看看加上了類型注解和默認值之后,它的字節碼指令會有什么變化?

0 RESUME                   0

 2 LOAD_CONST               0 ('satori')
 4 STORE_NAME               0 (name)

 6 LOAD_CONST               5 ((1, 2))
 8 LOAD_CONST               1 ('a')
10 LOAD_NAME                1 (int)
12 LOAD_CONST               2 ('b')
14 LOAD_NAME                1 (int)
16 BUILD_TUPLE              4
18 LOAD_CONST               3 (<code object foo at 0x7f...>)
20 MAKE_FUNCTION            5 (defaults, annotations)
22 STORE_NAME               2 (foo)
......

不難發現,在構建函數時會先將默認值以元組的形式壓入運行時棧;然后再將使用了類型注解的參數和類型也構建一個元組,并壓入運行時棧。

后續創建函數的時候,會將默認值保存在 func_defaults 字段中,類型注解對應的字典會保存在 func_annotations 字段中。

def foo(a: int = 1, b: int = 2):
    print(a, b)

print(foo.__defaults__)
"""
(1, 2)
"""
print(foo.__annotations__)
"""
{'a': <class 'int'>, 'b': <class 'int'>}
"""

基于類型注解,我們便可以額外施加一些手段,讓 Python 像靜態語言一樣,實現函數參數的類型約束。

聊一聊函數名

這里再說一下函數名,舉個例子。

def foo():
    pass

print(foo.__name__)  # foo

bar = foo
print(bar.__name__)  # foo

我們定義了一個函數 foo,那么函數名就是 foo,這是沒問題的,但怎么理解 bar 呢?

所以嚴格意義上講,代碼中的 foo 應該是一個變量。之前說過,定義函數、類、導入模塊,其實都是創建了一個變量。所以代碼中的 foo 也是一個變量,它指向了函數對象,而函數的名字是保存在函數對象里面的。

code_string = """
def foo():
    pass
"""

code_obj = compile(code_string, "<func>", "exec")
# 我們是以模塊的形式編譯的,它里面只有一個變量 foo
# 所以符號表就是 ('foo',)
print(code_obj.co_names)  # ('foo',)

# 然后常量池里面存在一個 PyCodeObject
# 這個 PyCodeObject 便是函數對應的 PyCodeObject
print(code_obj.co_consts[0])  # <code object foo ...>
print(code_obj.co_consts[0].co_name)  # foo

# 構建函數時,PyCodeObject 的 co_name 會被賦值給函數的 func_name
# 所以嚴格意義上講,def foo() 中的 foo 只能算做是變量名
# 而真正的函數名是函數對象的 func_name,它來自于 co_name
# 只不過在編譯成 PyCodeObject 對象時,會進行詞法分析
# 因為 def 后面是 foo,所以編譯之后的 PyCodeObject 的 co_name 也是 foo

# 當然其它對象也是如此
class A:
    pass

# 這里的 A 指向了類型對象,但類型對象的名稱是保存在類型對象里面的
print(A.__name__)  # A
# A.__name__ 才是類名,class 后面的 A 只是一個變量名

# 這里同樣創建了一個類
B = type("B1", (object,), {})
print(B.__name__)  # B1
# 但是我們看到類名不是 B,而是 B1
# 所以我們需要明白,不管是變量賦值、還是定義函數、類、方法,導入模塊
# 我們得到的只是一個變量,這個變量指向了具體的對象(它們是字典中的一個鍵值對)
# 而對象的名稱、類型等信息,都保存在對象里面,和變量無關
# 因為變量只是一個符號,或者理解為代號,每個對象都可以有不同的代號

def foo():
    pass

# 名稱也可以自由更改
foo.__name__ = "foo1"
# 在更改過后,函數的名字就變成了 foo1
print(foo.__name__)  # foo1

# bar = foo 之后,這個函數對象就有了兩個代號,你通過 foo 和 bar 都可以找到它
# 但函數對象的名字是不變的,還是 foo1,因為它的 __name__ 屬性的值是 foo1
bar = foo
print(bar.__name__)  # foo1

我們之前說變量只是一個和對象綁定的符號,或者說代號,運行時會和某個對象(的地址)組成鍵值對保存在字典中。虛擬機通過變量可以找到它代表的對象,本質上就是將變量名作為 key,去字典中檢索 value。至于獲取到的對象叫什么名字,是保存在對象里面的。

如果變量指向的是整數、字符串等,那么該對象就沒有名字。如果指向的是函數、類、模塊,那么對象的 __name__ 就是對象的名字。只不過在默認情況下,定義函數(以及類)時,變量名默認和函數名是一樣的,所以我們會把指向函數對象的變量的名稱也叫做函數名。

關于這一點,大家一定要清晰。

name = "古明地覺"

def foo():
    pass

class A:
    pass

import os

print("name" in locals())  # True
print("foo" in locals())  # True
print("A" in locals())  # True
print("os" in locals())  # True

這里的 name、foo、A、os 都是變量,站在虛擬機的角度,它們沒有任何的不同,只不過指向的對象不同罷了。而站在 Python 的角度,它們也是一樣的,其名稱都是字典里的一個 key,只不過關聯的 value 不同罷了。

比如 name 指向的是字符串對象,foo 指向的是函數對象,A 指向的是類對象,os 指向的是模塊對象。但我們也可以改變指向,比如讓 foo 指向類對象,A 指向字符串對像等等,都是可以的。

總結:變量只是一個指針,可以保存任意對象的地址,也就是可以指向任意的對象。而對象的名字、類型等一切信息,都保存在對象中,和變量無關。

當然這些都是之前說過的內容,再來回顧一下,總之一定要了解 Python 變量的本質。

函數的一些騷操作

我們通過一些騷操作,來更好地理解一下函數。

之前說 <class 'function'> 是函數的類型對象,而這個類底層沒有暴露給我們,但我們依舊可以通過曲線救國的方式進行獲取。

def foo():
    pass

print(type(foo))  # <class 'function'>
# lambda 匿名函數的類型也是 function
print(type(lambda: None))  # <class 'function'>

那么下面就來創建函數:

gender = "female"

def foo(name, age):
    return f"name: {name}, age: {age}, gender: {gender}"

# 得到 PyCodeObject 對象
code = foo.__code__
# 根據 class function 創建函數對象
# 接收三個參數: PyCodeObject 對象、名字空間、函數名
new_foo = type(foo)(code, globals(), "根據 foo 創建的 new_foo")

# 打印函數名
print(new_foo.__name__)
"""
根據 foo 創建的 new_foo
"""

# 調用函數
print(new_foo("古明地覺", 17))
"""
name: 古明地覺, age: 17, gender: female
"""

是不是很神奇呢?另外函數之所以能訪問全局變量,是因為在創建函數的時候將 global 名字空間傳進去了,如果我們不傳遞呢?

gender = "female"

def foo(name, age):
    return f"name: {name}, age: {age}, gender: {gender}"

code = foo.__code__
# 第二個參數必須是一個字典,不能傳 None
new_foo = type(foo)(code, {}, "根據 foo 創建的 new_foo")

try:
    print(new_foo("古明地覺", 17))
except NameError as e:
    print(e)  # name 'gender' is not defined

因此現在我們又從 Python 的角度理解了一遍,為什么在函數內部能夠訪問全局變量。原因就在于構建函數的時候,將 global 名字空間交給了函數,使得函數可以在 global 空間中進行變量查找,所以它才能夠找到全局變量。而我們這里給了一個空字典,那么顯然就找不到 gender 這個變量了。

gender = "female"

def foo(name, age):
    return f"name: {name}, age: {age}, gender: {gender}"

code = foo.__code__
new_foo = type(foo)(code, {"gender": "萌妹子"}, "根據 foo 創建的 new_foo")

# 我們可以手動傳遞一個字典進去
# 此時傳遞的字典對于函數來說就是 global 名字空間
print(new_foo("古明地覺", 17))
"""
name: 古明地覺, age: 17, gender: 萌妹子
"""
# 所以此時的 gender 不再是外部的 "female", 而是我們指定的 "萌妹子"

此外也可以為函數指定默認值:

def foo(name, age, gender):
    return f"name: {name}, age: {age}, gender: {gender}"

# 必須接收一個 PyTupleObject 對象
foo.__defaults__ = ("古明地覺", 17, "female")
print(foo())
"""
name: 古明地覺, age: 17, gender: female
"""

我們看到函數 foo 明明接收三個參數,但是調用時不傳遞居然也不會報錯,原因就在于我們指定了默認值。而默認值可以在定義函數的時候指定,也可以通過 __defaults__ 指定,但很明顯我們應該通過前者來指定。

如果你使用的是 PyCharm,那么會在 foo() 這個位置給你加波浪線,提示你參數沒有傳遞。但我們知道,由于通過 __defaults__ 設置了默認值,所以這里是不會報錯的。只不過 PyCharm 沒有檢測到,當然基本上所有的 IDE 都無法做到這一點,畢竟動態語言。

另外如果 __defaults__ 接收的元組里面的元素個數和參數個數不匹配怎么辦?

def foo(name, age, gender):
    return f"name: {name}, age: {age}, gender: {gender}"

foo.__defaults__ = (15, "female")
print(foo("古明地戀"))
"""
name: 古明地戀, age: 15, gender: female
"""

由于元組里面只有兩個元素,意味著我們在調用時需要至少傳遞一個參數,而這個參數會賦值給 name。原因就是在設置默認值的時候是從后往前設置的,也就是 "female" 會賦值給 gender,15 會賦值給 age。而 name 沒有得到默認值,那么它就需要調用者顯式傳遞了。

如果返回值從前往后設置的話,會出現什么后果?顯然 15 會賦值給 name,"female" 會賦值給 age,此時函數就等價于如下:

def foo(name=15, age="female", gender):
    return f"name: {name}, age: {age}, gender: {gender}"

這樣的函數顯然無法通過編譯,因為默認參數必須在非默認參數的后面。所以 Python 的這個做法是完全正確的,必須要從后往前進行設置。

另外我們知道默認值的個數是小于等于參數個數的,如果大于會怎么樣呢?

def foo(name, age, gender):
    return f"name: {name}, age: {age}, gender: {gender}"

foo.__defaults__ = ("古明地覺", "古明地戀", 15, "female")
print(foo())
"""
name: 古明地戀, age: 15, gender: female
"""

依舊是從后往前進行設置,當所有參數都有默認值時,就結束了,多余的默認值會丟棄。當然,如果不使用 __defaults__,是不可能出現默認值個數大于參數個數的??梢?__defaults__ 指向的元組先結束,那么沒有得到默認值的參數就必須由調用者顯式傳遞了。

最后,再來說一下如何深拷貝一個函數。首先如果是你的話,你會怎么拷貝一個函數呢?不出意外的話,你應該會使用 copy 模塊。

import copy

def foo(a, b):
    return [a, b]

# 但是問題來了,這樣能否實現深度拷貝呢?
new_foo = copy.deepcopy(foo)
# 修改 foo 的默認值
foo.__defaults__ = (2, 3)
# 但是 new_foo 也會受到影響
print(new_foo())  # [2, 3]

打印結果提示我們并沒有實現函數的深度拷貝,事實上 copy 模塊無法對函數、方法、回溯棧、棧幀、模塊、文件、套接字等類型實現深度拷貝。那我們應該怎么做呢?

from types import FunctionType

def foo(a, b):
    return "result"

# FunctionType 就是函數的類型對象
# 它也是通過 type 得到的
new_foo = FunctionType(foo.__code__,
                       foo.__globals__,
                       foo.__name__,
                       foo.__defaults__,
                       foo.__closure__)
# 顯然 function 還可以接收第四個參數和第五個參數
# 分別是函數的默認值和閉包

# 然后別忘記將屬性字典也拷貝一份
# 由于函數的屬性字典幾乎用不上,這里就淺拷貝了
new_foo.__dict__.update(foo.__dict__)

foo.__defaults__ = (2, 3)
print(foo.__defaults__)  # (2, 3)
print(new_foo.__defaults__)  # None

此時修改 foo 不會影響 new_foo,當然在拷貝的時候也可以自定義屬性。

其實上面實現的深拷貝,本質上就是定義了一個新的函數。由于是兩個不同的函數,那么自然就沒有聯系了。

判斷函數都有哪些參數

最后再來看看如何檢測一個函數有哪些參數,首先函數的局部變量(包括參數)在編譯時就已經確定,會存在符號表 co_varnames 中。

def foo(a, b, /, c, d, *args, e, f, **kwargs):
    g = 1
    h = 2

print(foo.__code__.co_varnames)
"""
('a', 'b', 'c', 'd', 'e', 'f', 'args', 'kwargs', 'g', 'h')
"""

在定義函數的時候,* 和 ** 最多只能出現一次。然后這里的 a 和 b 必須通過位置參數傳遞,c 和 d 可以通過位置參數或者關鍵字參數傳遞,e 和 f 必須通過關鍵字參數傳遞。

而從打印的符號表來看,里面的符號是有順序的。參數永遠在函數內部定義的局部變量的前面,比如 g 和 h 就是函數內部定義的局部變量,所以它在所有參數的后面。而對于參數,* 和 ** 會位于最后面,其它參數位置不變。所以除了 g 和 h,最后面的就是 args 和 kwargs。

有了這些信息,我們就可以進行檢測了。

def foo(a, b, /, c, d, *args, e, f, **kwargs):
    g = 1
    h = 2

varnames = foo.__code__.co_varnames
# 1. 尋找必須通過位置參數傳遞的參數
posonlyargcount = foo.__code__.co_posonlyargcount
print(posonlyargcount)  # 2
print(varnames[: posonlyargcount])  # ('a', 'b')

# 2. 尋找可以通過位置參數或者關鍵字參數傳遞的參數
argcount = foo.__code__.co_argcount
print(argcount)  # 4
print(varnames[: argcount])  # ('a', 'b', 'c', 'd')
print(varnames[posonlyargcount: argcount])  # ('c', 'd')

# 3. 尋找必須通過關鍵字參數傳遞的參數
kwonlyargcount = foo.__code__.co_kwonlyargcount
print(kwonlyargcount)  # 2
print(varnames[argcount: argcount + kwonlyargcount])  # ('e', 'f')

# 4. 尋找 *args 和 **kwargs
flags = foo.__code__.co_flags
# 在介紹 PyCodeObject 的時候,我們說里面有一個 co_flags 成員
# 它是函數的標識,可以對函數類型和參數進行檢測
# 如果 co_flags 和 4 按位與之后為真,那么就代表有 *args,否則沒有
# 如果 co_flags 和 8 按位與之后為真,那么就代表有 **kwargs,否則沒有
step = argcount + kwonlyargcount
if flags & 0x04:
    print(varnames[step])  # args
    step += 1

if flags & 0x08:
    print(varnames[step])  # kwargs

以上我們就檢測出了函數都有哪些參數,你也可以將其封裝成一個函數,實現代碼的復用。然后還要注意一點,如果我們定義的時候不是 *args,而只是一個 *,那么它就不是參數了。

def f(a, b, *, c):
    pass


# 符號表里面只有 a、b、c
print(f.__code__.co_varnames)  # ('a', 'b', 'c')

# 顯然此時也都為假
print(f.__code__.co_flags & 0x04)  # 0
print(f.__code__.co_flags & 0x08)  # 0

單獨的一個 * 只是為了強制要求后面的參數必須通過關鍵字參數的方式傳遞。

小結

這一次我們簡單地分析了一下函數是如何創建的,并且還在 Python 的層面上做了一些小 trick。最后我們也分析了如何通過 PyCodeObject 對象來檢索函數的參數,以及相關種類,標準庫中的 inspect 模塊也是這么做的。準確的說,是我們模仿人家的思路做的。

現在你是不是對函數有了一個更深刻的認識了呢?當然目前介紹的只是函數的一部分內容,還有更多內容等待我們挖掘,比如:

  • 函數如何調用。
  • 位置參數和關鍵字參數如何解析。
  • 對于有默認值的參數,如何在不傳參的時候使用默認值、在傳參的時候使用我們傳遞的值。
  • *args 和 **kwargs 如何解析。
  • 閉包怎么實現。
  • 裝飾器怎么實現
  • ......
責任編輯:武曉燕 來源: 古明地覺的編程教室
相關推薦

2024-10-20 13:28:47

虛擬機字節碼CPU

2024-05-21 12:51:06

Python對象PyObject

2024-08-29 12:37:11

2024-05-22 13:04:46

Python對象關系

2023-10-30 23:14:57

瀏覽器URL網頁

2016-01-29 10:32:32

KDEKDE PlatforQt 框架

2017-03-29 15:50:09

AndroidApp框架

2018-09-14 14:20:43

人肉智能運維

2020-10-27 07:29:43

架構系統流量

2020-12-09 08:12:30

系統架構

2020-08-26 09:05:03

函數編譯詞法

2019-08-26 09:15:09

設計技術人生第一份工作

2020-05-28 16:54:51

自動駕駛谷歌華為

2020-01-02 08:29:14

互聯網網約車??低?/a>

2010-04-16 10:11:20

Oracle存儲過程

2010-11-19 09:48:48

ORACLE創建實例

2022-03-28 08:20:49

線程編程語言線程操作系統

2022-05-12 13:03:00

DLT分布式賬本加密貨幣

2023-11-23 19:30:35

Python編程語言

2025-02-12 10:06:25

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 毛片区 | 日韩一级精品视频在线观看 | 国产一区二区三区四区在线观看 | 成年人视频免费在线观看 | 久久人体视频 | 中文字幕在线第一页 | 国产激情视频在线观看 | 中文字幕在线中文 | 亚洲精品一区二区三区在线观看 | 国产午夜在线观看 | 亚洲国产精品一区二区久久 | 日韩成人在线播放 | 伊人网站在线 | 日韩中文字幕av | 欧美一极视频 | 国产色在线 | 一区二区在线 | 久久国产综合 | 国产欧美精品在线 | 久久精品国产亚洲 | 中文字幕在线观看第一页 | 成人激情视频网 | 成人性生交大片免费看r链接 | 国产成人精品亚洲日本在线观看 | 精品久久久久久久久久久久 | 91久久久久 | 91久久久久 | av毛片| 亚洲+变态+欧美+另类+精品 | 一级片成人| 欧美日韩综合一区 | 亚洲 欧美 另类 日韩 | 99在线观看视频 | 视频1区2区 | 久久久精品一区二区三区四季av | 国产永久免费 | 亚洲 中文 欧美 日韩 在线观看 | www.五月天婷婷 | 日韩欧美国产精品一区二区三区 | 久久久久国产成人精品亚洲午夜 | 久久精品男人的天堂 |