python核心 - 迭代器

发表于 | 分类于

迭代(iteration)指的是去获取元素的一种方式，一个接一个。当你显式或隐式的使用循环来遍历某个元素集的时候，那就是迭代。

在Python里面，可迭代对象(iterable)和迭代器(iterator)有着特殊的含义。

  • iterable是实现了__iter__()方法的对象，该方法会返回一个iterator对象
  • iterator是实现了__iter__()和__next__()方法的对象，__iter__()方法返回的是iterator对象本身

由此可见，iterable和iterator的本质区别就是后者多了一个__next__()方法。
也就是说一个iterator对象必定是一个iterable对象。

当你使用一个for循环或者map，或着一个列表推导，那么会先通过iter()获取相应的迭代器，
然后每次循环自动通过next方法调用这个迭代器(iterator)，从中获取每一个元素，从而完成迭代过程。

在一个iterable对象上执行iter会返回一个iterator对象, 比如iter(obj)

下面一个例子可以非常清晰的解释清楚：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
>>> s = 'cat'      # s is an ITERABLE

>>> t = iter(s)    # t is an ITERATOR
                   # t has state (it starts by pointing at the "c")
                   # t has a next() method and an __iter__() method
>>> next(t)        # the next() function returns the next value and advances the state
'c'
>>> next(t)        # the next() function returns the next value and advances
'a'
>>> next(t)        # the next() function returns the next value and advances
't'
>>> next(t)        # next() raises StopIteration to signal that iteration is complete
Traceback (most recent call last):
...
StopIteration

>>> iter(t) is t   # the iterator is self-iterable

可以使用isinstance()判断一个对象是否是Iterable对象：

1
2
3
4
5
6
7
8
9
10
11
>>> from collections import Iterable
>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance('abc', Iterable)
True
>>> isinstance((x for x in range(10)), Iterable)
True
>>> isinstance(100, Iterable)
False

可以使用isinstance()判断一个对象是否是Iterator对象：

1
2
3
4
5
6
7
8
9
>>> from collections import Iterator
>>> isinstance((x for x in range(10)), Iterator)
True
>>> isinstance([], Iterator)
False
>>> isinstance({}, Iterator)
False
>>> isinstance('abc', Iterator)
False

生成器都是Iterator对象，但list、dict、str虽然是Iterable，却不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter()函数：

1
2
3
4
>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter('abc'), Iterator)
True

你可能会问，为什么list、dict、str等数据类型不是Iterator？

这是因为Python的Iterator对象表示的是一个数据流，Iterator对象可以被next()函数调用并不断返回下一个数据，直到没有数据时抛出StopIteration错误。
可以把这个数据流看做是一个有序序列，但我们却不能提前知道序列的长度，只能不断通过next()函数实现按需计算下一个数据，所以Iterator的计算是惰性的，只有在需要返回下一个数据时它才会计算。

Iterator甚至可以表示一个无限大的数据流，例如全体自然数。而使用list是永远不可能存储全体自然数的。

小结

凡是可作用于for循环的对象都是Iterable类型；

凡是可作用于next()函数的对象都是Iterator类型，它们表示一个惰性计算的序列；

集合数据类型如list、dict、str等是Iterable但不是Iterator，不过可以通过iter()函数获得一个Iterator对象。

Python的for循环本质上就是通过不断调用next()函数实现的，例如：

1
2
for x in [1, 2, 3, 4, 5]:
    pass

实际上完全等价于：

1
2
3
4
5
6
7
8
9
10
# 首先获得Iterator对象:
it = iter([1, 2, 3, 4, 5])
# 循环:
while True:
    try:
        # 获得下一个值:
        x = next(it)
    except StopIteration:
        # 遇到StopIteration就退出循环
        break