Итераторы и генераторы

Сквозная задача ещё раз: числа пришли строкой "5 -2 10 7". Переведём их в числа через map и посчитаем сумму и наибольшее:

numbers = map(int, "5 -2 10 7".split())print(sum(numbers))print(max(numbers))

Сумма верная, а max жалуется, что чисел нет. map выдаёт значения по одному и не хранит их: sum забрал все, и второму проходу ничего не осталось. В этом уроке разберём, как for получает элементы, почему одни источники одноразовые, а другие нет, и как написать свой источник значений.

for уже ходил по многим источникам — у всех один механизм. Вспомним, что выдаёт for для каждого знакомого источника:

Общее у них одно: for просит у источника следующий элемент, пока элементы не кончатся. Кто их выдаёт — разберём дальше.

Итератор помнит текущую позицию и по запросу выдаёт следующий элемент. Список, строка, range — перебираемые объекты: каждый из них умеет создать новый итератор. for так и делает: берёт у источника итератор и просит у него элементы. Это можно сделать вручную:

numbers = [10, 20, 30]iterator = iter(numbers)print(next(iterator))print(next(iterator))print(list(iterator))print(list(iterator))

iter создаёт итератор, next берёт следующий элемент. Позиция движется только вперёд — как у открытого файла в уроке о файлах:

Когда элементы кончились, next вызывает ошибку StopIteration, а for принимает её за обычный конец цикла. Сам список при этом не меняется: новый for по нему создаст новый итератор. Открытый файл и map — сами себе итераторы, поэтому второй проход по ним пуст.

map применяет функцию к каждому элементу, filter оставляет подходящие — оба выдают результаты по одному. map(функция, источник) — результаты функции для каждого элемента. filter(функция, источник) — только те элементы, для которых функция вернула истину. Чтобы пройти по результатам дважды, их один раз собирают в список:

numbers = list(map(int, "5 -2 10 7".split()))print(sum(numbers), max(numbers))print(list(filter(lambda x: x > 0, numbers)))

list забрал все значения map и сохранил их, а по списку можно ходить сколько угодно. lambda — короткая функция из урока об аргументах.

Частая запись a, b = map(int, input().split()) означает: прочитать строку, разбить её, перевести части в числа и распаковать в два имени. Если частей не две, распаковка завершится ошибкой.

a, b = map(int, input().split())print(a + b)

Списковое включение [int(x) for x in parts] делает то же, что list(map(int, parts)). Выбирай запись, которая понятнее.

Генераторное выражение выдаёт результаты по одному, не создавая список. Оно записывается как списковое включение, только в круглых скобках. Если оно — единственный аргумент функции, хватает её скобок:

numbers = [2, 4, 6]total = sum(x * x for x in numbers)print(total)print(sum(1 for x in range(1, 101) if x % 7 == 0))

sum получает квадраты по одному и сразу складывает — список квадратов не создаётся. Вторая строка считает кратные 7: каждое даёт единицу, а sum их складывает.

Это экономит память, когда элементы нужны один раз. Но генератор тоже одноразовый. И быстрее алгоритм от него не становится: миллиард вариантов он переберёт так же долго.

Функция с yield выдаёт значения по одному и между ними стоит на паузе. Такая функция при вызове ничего не считает, а создаёт генератор. Тело начинает выполняться, когда у генератора просят элемент. yield отдаёт значение и ставит функцию на паузу, сохранив её переменные; при следующем запросе выполнение продолжается со строки после yield. return, в отличие от него, завершает вызов окончательно.

Запусти программу по шагам: на каждом yield переменные функции остаются на месте с пометкой «на паузе», а n при продолжении сохраняет прежнее значение.

def squares_up_to(limit):    n = 1    while n * n <= limit:        yield n * n        n += 1 print(list(squares_up_to(20)))

list просит у генератора элементы, пока он не закончится: после 16 следующий квадрат 25 больше 20, цикл while завершается, и генератор кончается.