迭代器與生成器：Python中的流式數據處理雙雄！

Python中的迭代器和生成器是用于處理數據流的重要工具。它們允許你遍歷數據集合，而不需要在內存中一次性加載所有數據。這在處理大量數據或無限數據流時特別有用。

迭代器（Iterator）
迭代器是一個可以記住遍歷的位置的對象。它從集合的第一個元素開始訪問，直到所有的元素被訪問完結束。迭代器只能往前不會后退。

創建迭代器

在Python中，你可以通過實現__iter__()和__next__()方法來創建自定義迭代器。__iter__()方法返回迭代器對象本身，__next__()方法返回容器的下一個值。當容器中沒有更多元素時，__next__()方法將引發StopIteration異常。

下面是一個簡單的迭代器示例：

class MyIterator:
    def __init__(self, start, end):
        self.current = start
        self.end = end

    def __iter__(self):
        return self

    def __next__(self):
        if self.current < self.end:
            value = self.current
            self.current += 1
            return value
        else:
            raise StopIteration

# 使用自定義迭代器
iterator = MyIterator(0, 5)
for i in iterator:
    print(i)
內置迭代器

Python的內置數據類型（如列表、元組、字典和集合）都支持迭代。你可以使用for循環或iter()函數和next()函數來遍歷它們。

例如：

my_list = [1, 2, 3, 4, 5]
iterator = iter(my_list)
print(next(iterator))  # 輸出 1
print(next(iterator))  # 輸出 2
生成器（Generator）
生成器是一種特殊類型的迭代器，它使用了yield關鍵字而不是return來返回值。生成器允許你按需生成值，而不是一次性計算并存儲所有值。這使得生成器在處理大量數據或無限數據流時非常高效。

創建生成器

你可以通過定義一個包含yield語句的函數來創建生成器。當調用這個函數時，它并不立即執行，而是返回一個生成器對象。然后，你可以使用next()函數或for循環來遍歷生成器的值。每次調用next()時，生成器會執行到下一個yield語句，并返回相應的值。當生成器函數執行完畢時，它會引發StopIteration異常。

下面是一個簡單的生成器示例：

def my_generator(start, end):
    current = start
    while current < end:
        yield current
        current += 1

# 使用生成器
gen = my_generator(0, 5)
for i in gen:
    print(i)
生成器表達式

除了定義包含yield的函數之外，你還可以使用生成器表達式來創建生成器。生成器表達式類似于列表推導式，但它們是按需生成值的，而不是一次性生成所有值。生成器表達式使用圓括號而不是方括號。

例如：

# 列表推導式（一次性生成所有值）
squares = [x ** 2 for x in range(10)]
print(squares)  # 輸出 [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

# 生成器表達式（按需生成值）
squares_gen = (x ** 2 for x in range(10))
print(next(squares_gen))  # 輸出 0
print(next(squares_gen))  # 輸出 1
迭代器的優點
1. 內存效率：迭代器不需要一次性加載所有數據到內存中，而是按需加載。這對于處理大數據集或流式數據非常有用。

2. 順序訪問：迭代器提供了一種順序訪問集合元素的方式，而不需要知道底層數據的具體實現。

3. 可重用性：你可以通過多次調用iter()函數來重新使用迭代器，只要迭代器的狀態被重置。

4. 通用性：Python的for循環和許多內置函數（如map(), filter(), reduce()等）都支持迭代器協議，這意味著你可以使用迭代器與這些結構無縫集成。

生成器的優點
生成器除了具有迭代器的所有優點外，還有以下獨特的優點：

1. 簡潔性：生成器允許你用更少的代碼實現相同的功能。與定義類并實現__iter__()和__next__()方法相比，使用yield關鍵字更加簡潔。

2. 狀態保持：生成器會自動保存其執行狀態，包括局部變量和指令指針。每次調用next()或__next__()時，生成器都會從上次離開的地方繼續執行。

3. 懶加載：生成器是惰性計算的，這意味著它們只在需要時才生成值。這可以提高程序的性能，特別是在處理大量數據時。

使用場景示例
迭代器使用場景：

? 遍歷文件的每一行，而不需要將整個文件加載到內存中。

? 實現自定義的數據結構，如鏈表、樹等，并提供迭代功能。

? 與數據庫交互時，逐行獲取查詢結果，而不是一次性獲取所有結果。

生成器使用場景：

? 創建一個無限的數值序列，如斐波那契數列。

? 實現協程（coroutine），用于編寫異步代碼。

? 在處理大數據時，按需生成和處理數據塊，以減少內存占用。

示例代碼
斐波那契數列生成器：

def fibonacci(n):
    a, b = 0, 1
    for _ in range(n):
        yield a
        a, b = b, a + b

# 使用生成器獲取斐波那契數列的前10個數
fib_gen = fibonacci(10)
for num in fib_gen:
    print(num)
文件逐行讀取迭代器：

class LineIterator:
    def __init__(self, filename):
        self.filename = filename
        self.file = None

    def __iter__(self):
        return self

    def __next__(self):
        if self.file is None:
            self.file = open(self.filename, 'r')
        line = self.file.readline().strip()
        if line:
            return line
        else:
            self.file.close()
            raise StopIteration

# 使用自定義迭代器逐行讀取文件
lines = LineIterator('example.txt')
for line in lines:
    print(line)
進階內容：生成器函數與生成器表達式
生成器函數
之前我們已經介紹了生成器函數，它們使用yield關鍵字而不是return來產生一系列的值。每次調用生成器函數時，它都會“記住”上次返回的位置，并在下次調用時從那個位置繼續執行。這使得生成器函數非常適合表示無限的或者非常大的序列。

示例：無限的偶數生成器

def even_numbers():
    num = 0
    while True:
        yield num
        num += 2

# 創建一個生成器對象
even_gen = even_numbers()

# 打印前5個偶數
for _ in range(5):
    print(next(even_gen))
生成器表達式
生成器表達式是創建生成器的另一種簡潔方式。它們看起來很像列表推導式，但是使用圓括號而不是方括號。生成器表達式按需生成值，而不是一次性生成整個列表，從而節省內存。

示例：使用生成器表達式創建平方數生成器

# 列表推導式，一次性生成所有值
squares_list = [x ** 2 for x in range(10)]
print(squares_list)  # 輸出 [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

# 生成器表達式，按需生成值
squares_gen = (x ** 2 for x in range(10))
for square in squares_gen:
    print(square)  # 逐個輸出平方數
協同程序（Coroutines）與yield from
在Python中，生成器還可以作為協同程序（coroutines）使用，這意味著它們可以接收值（通過send()方法）并在生成器之間委派任務（通過yield from語句）。這使得生成器不僅可以產出值，還可以消費值，并與其他生成器協同工作。

示例：使用yield from委派生成器

def countdown(n):
    while n > 0:
        recv = yield n
        if recv is not None:
            print('Countdown interrupted with:', recv)
            n = recv  # Reset countdown value
        else:
            n -= 1

def delegating_generator(n):
    # Yield values from another generator
    yield from countdown(n)
    print("Countdown has finished.")

gen = delegating_generator(5)
print(next(gen))  # 5
print(gen.send(3))  # Interrupts countdown and sets n to 3
print(next(gen))  # 2
print(next(gen))  # 1
try:
    print(next(gen))  # Raises StopIteration, but "Countdown has finished." is printed first
except StopIteration:
    pass
迭代工具與內置函數
Python標準庫提供了許多有用的迭代工具和內置函數，可以與迭代器和生成器一起使用，如itertools模塊和map(), filter(), reduce()等函數。

示例：使用itertools.count創建一個無限的計數器

import itertools

# 創建一個從10開始的無限計數器
counter = itertools.count(start=10)

# 打印前5個數
for _ in range(5):
    print(next(counter))  # 輸出 10, 11, 12, 13, 14
總結

Python的迭代器和生成器是處理流式數據和大型數據集的強大工具。它們允許你以內存高效的方式遍歷數據，并提供了一種簡潔的語法來定義自定義的迭代邏輯。通過結合使用yield、生成器表達式、協同程序和迭代工具，你可以編寫出既高效又富有表現力的代碼。

以上就是“迭代器與生成器：Python中的流式數據處理雙雄！”的詳細內容，想要了解更多Python教程歡迎持續關注編程學習網。