pythonportal | Unsorted

Telegram-канал pythonportal - Python Portal

50319

Всё самое интересное из мира Python Сотрудничество, реклама: @devmangx Работаем с @Spiral_Yuri РКН: https://clck.ru/3GMMF6

Subscribe to a channel

Python Portal

🧠🧠🧠

👉 @PythonPortal

Читать полностью…

Python Portal

Agentic RAG для чайников

Модульный agentic RAG, собранный на LangGraph. Разберись с RAG-агентами за считанные минуты.

Этот репозиторий показывает, как собрать agentic RAG на LangGraph с минимумом кода.

Что обещают в README, если коротко:

- иерархическая индексация (parent/child чанки: ищем по мелким, достаём крупные для контекста)
- память диалога
- уточнение запроса (вплоть до паузы и вопроса пользователю)
- оркестрация пайплайна через LangGraph, плюс параллельный map-reduce для сложных запросов
- автоперезапрос, если результатов мало, и компрессия контекста, чтобы не раздувать промпт

https://github.com/GiovanniPasq/agentic-rag-for-dummies

👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы Python. День 11 - Добавление разделителя тысяч

Если вы работаете с большими числами и хотите добавить разделитель, чтобы их было проще читать, есть несколько способов это сделать. Вот некоторые из них:

▪️Использование функции format

List comprehension проходит по каждому элементу (числу) в my_list. Для каждого числа он форматирует его в строку с разделителями тысяч запятыми, используя строку формата '{:,}'.format(num).

my_list = [10898767, 9876780, 9908763]

new_list = ['{:,}'.format(num) for num in my_list]
print(new_list)

# ['10,898,767', '9,876,780', '9,908,763']


Вывод печатает new_list, который содержит отформатированные строки с разделителями запятыми.

▪️Использование f-строк

Также можно использовать f-строки, чтобы добавить разделители тысяч. Обратите внимание ниже: вместо запятой (,) как разделителя мы используем подчёркивание (_).

my_list = [10898767, 9876780, 9908763]

new_list = [f"{num:_}" for num in my_list]
print(new_list)

# ['10_898_767', '9_876_780', '9_908_763']


Заметили, что в обоих случаях мы используем list comprehension, чтобы добавить разделитель? Крутая штука, правда? 😉

▪️Использование модуля locale

Модуль locale даёт способ форматировать числа с разделителями тысяч в соответствии с текущими настройками локали. Вы можете выставить нужную локаль и использовать метод locale.format_string(). Вот как это выглядит на практике:

import locale

my_list = [10898767, 9876780, 9908763]
formatted_list = []

for num in my_list:
# Set the locale
locale.setlocale(locale.LC_ALL, 'en_US.UTF-8')
formatted_list.append(locale.format_string("%d", num, grouping=True))

print(formatted_list)


Этот код проходит по каждому числу в my_list через цикл for. Он задаёт нужную локаль 'en_US.UTF-8' с помощью locale.setlocale(locale.LC_ALL, 'en_US.UTF-8'). Это выставляет локаль на США с кодировкой UTF-8, где для тысяч используются запятые. Дальше locale.format_string('%d', num, grouping=True) форматирует число (num) в строку с разделителями тысяч. Спецификатор формата '%d' означает, что число нужно форматировать как целое, а grouping=True указывает, что разделители тысяч должны быть включены.

👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

Советы от реальных экспертов по оптимизации

👉 @PythonPortal

Читать полностью…

Python Portal

Этот Python-фреймворк может скрейпить ЛЮБОЙ сайт и вытаскивать структурированные данные за считанные минуты.

Называется Scrapy. Он краулит сайты и извлекает структурированные данные целиком с твоей машины.

Никаких счетов за SaaS-скрейпинг. Никаких лимитов облачных API. Никакие данные не уходят за пределы твоей инфраструктуры.

Работает на самом “боевом” краулинг-движке в Python: 59K звёзд и 15+ лет продакшен-использования.

→ Описал spider один раз
→ Получил чистые структурированные данные
→ Масштабируешься до миллионов страниц
→ Экспорт в JSON, CSV, XML в один момент

Всё локально. Ноль зависимости от облака.

Но это не просто скрипт для парсинга.

Это полноценный фреймворк для извлечения данных:

→ Асинхронная архитектура для параллельного краулинга в масштабе
→ Встроенные middleware для прокси, ретраев и rate limiting
→ CSS и XPath селекторы без лишнего бойлерплейта
→ Подключаемые pipelines для чистки, дедупликации и сохранения
→ 54 800+ продакшен-проектов уже завязаны на него

100% open source. Лицензия BSD-3.

Работает на macOS, Windows и Linux уже сейчас.

Хочешь сделать хорошо, сделай сам, вместо облачных сервисов запускаешь всё у себя. 🪖🪖

100% опенсорс

👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы Python. День 9. Индекс наибольшего числа

Есть несколько способов найти индекс самого большого числа в списках.

▪️Функция max() и метод index()

Можно использовать метод index() вместе с функцией max(), чтобы получить индекс наибольшего числа в списке. В этом примере мы с помощью max() находим самое большое число в списке и передаем его в index() как аргумент. Метод index() вернет индекс первого вхождения наибольшего числа.

In [23]: my_list = [12, 45, 67, 89, 34, 67, 13]
largest_number_index = my_list.index(max(my_list))
largest_number_index

Out[23]: 3


▪️max() и enumerate()

В коде ниже функция max() принимает список и lambda-функцию в качестве аргументов. Мы добавляем enumerate() к списку, чтобы она могла вернуть и число из списка, и его индекс (кортеж). Параметр start в enumerate() задаем так, чтобы нумерация начиналась с позиции 0. lambda-функция используется, чтобы найти максимальное значение по второму элементу каждого кортежа, то есть по значению из my_list.

In [24]: my_list = [12, 45, 67, 89, 34, 67, 13]

max_num = max(enumerate(my_list, start=0),
key = lambda x: x[1])
print('Индекс наибольшего числа:',
max_num[0])

Индекс наибольшего числа: 3


▪️Списковое включение с функцией enumerate()

В коде ниже мы используем списковое включение вместе с enumerate(), чтобы найти индекс самого большого числа в списке. Создаем переменную max_value - в ней хранится максимальное значение из списка. Дальше с помощью enumerate() находим индекс(ы), где значение совпадает с этим максимумом.

In [25]: my_list = [12, 45, 67, 89, 34, 67, 13]

max_value = max(my_list)
max_indices = [idx for idx, val in enumerate(my_list) if val == max_value]
max_indices

Out[25]: [3]


Вывод показывает, что самое большое число находится по индексу 3.

👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

😆😆😆

👉 @PythonPortal

Читать полностью…

Python Portal

Ну кто опять накатил питона на принтер ??

👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы Python. День 7. Подсчет количества вхождений элемента

Если тебе нужно узнать, сколько раз элемент встречается в итерируемой коллекции, можно использовать класс Counter из модуля collections. Counter() вернет словарь с тем, сколько раз каждый элемент встречается в последовательности. Допустим, мы хотим узнать, сколько раз имя Peter встречается в следующем списке. Можно использовать Counter(). См. ниже:

from collections import Counter

list1 = ['John', 'Kelly', 'Peter', 'Moses', 'Peter']

count_peter = Counter(list1).get("Peter")

print(f'The name "Peter" appears in the list '
f'{count_peter} times.')


Вывод:

The name "Peter" appears in the list 2 times.


Еще один способ сделать это — обычный цикл for. Мы заводим переменную-счетчик и увеличиваем ее на 1 каждый раз, когда находим имя Peter в последовательности. Это наивный способ. См. ниже:

list1 = ['John', 'Kelly', 'Peter', 'Moses', 'Peter']
# Create a count variable
count = 0
for name in list1:
if name == 'Peter':
count +=1
print(f'The name "Peter" appears in the list'
f' {count} times.')


Вывод:

The name "Peter" appears in the list 2 times.


Списки и другие итерируемые структуры данных в Python имеют встроенный метод count(), который позволяет посчитать количество вхождений конкретного элемента. Мы можем использовать count(), чтобы посчитать, сколько раз Peter встречается в списке.

list1 = ['John', 'Kelly', 'Peter', 'Moses', 'Peter']

print(f'The name "Peter" appears in the list '
f'{list1.count("Peter")} times.')


Вывод:

The name "Peter" appears in the list 2 times.


👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

giveHimABreak

👉 @PythonPortal

Читать полностью…

Python Portal

Перестаньте использовать if obj == None, используйте if obj is None

В Python, когда вы пишете:

obj == None


вы не проверяете напрямую, является ли obj значением None. Вместо этого вы спрашиваете, равен ли объект None.

Да, во многих случаях результат будет таким же, как у кода:

obj is None


Но поведение у этих двух вариантов разное, и эта разница важна.

Когда вы используете:

obj == None


Python вызывает метод __eq__ у объекта. То есть сам объект решает, что значит "равен None". А этот метод можно переопределить.

Если obj это экземпляр класса, в котором __eq__ реализован так, что при сравнении с None возвращается True (даже если объект на самом деле не None), тогда obj == None может ошибочно дать True.

Пример:

class Weird:
def __eq__(self, other):
return True # Всегда утверждает, что равен

obj = Weird()

print(obj == None) # True
print(obj is None) # False


Здесь видно, что obj == None возвращает True из-за кастомного поведения оператора __eq__ в классе.

Из этого следует, что при использовании obj == None результат не всегда предсказуем.

С другой стороны, когда вы пишете:

obj is None


вы используете оператор is, который нельзя переопределить. Это значит, что результат всегда будет одинаковым и предсказуемым.

Оператор is проверяет идентичность объектов, то есть указывают ли две ссылки на один и тот же объект. Поскольку None это singleton (единственный экземпляр), obj is None это правильный и самый эффективный способ такой проверки.

❤️ Поэтому всегда рекомендуется, и это best practice, использовать obj is None вместо obj == None ради предсказуемости и эффективности.

👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы Python. День 5. Сортировка списка по убыванию

Метод sort() сортирует список по возрастанию (по умолчанию).

Чтобы sort() работал, элементы списка должны быть одного типа. Нельзя сортировать список со смешанными типами данных, например числа и строки.

У метода sort() есть параметр reverse; чтобы отсортировать список по убыванию, установите reverse=True.

list1 = [2, 5, 6, 8, 1, 8, 9, 11]

list1.sort(reverse=True)
print(list1)

# [11, 9, 8, 8, 6, 5, 2, 1]


Помните: sort() это строго метод списка (list). Его нельзя использовать для сортировки set, tuple, string или dictionary.

Метод sort() не возвращает новый список; он сортирует существующий список на месте (in place).

Если вы попробуете создать новый объект с помощью sort(), он вернет None. Пример ниже:

list1 = [2, 5, 6, 8, 1, 8, 9, 11]
list2 = list1.sort(reverse=True)
print(list2)

# None


У метода sort() есть необязательный параметр key, который позволяет настроить поведение сортировки.

Этот параметр используется для передачи функции, которая задает критерий сортировки элементов списка.

В примере ниже у нас список кортежей, и мы хотим отсортировать его по возрасту студента. Используя параметр key вместе с lambda-функцией, можно реализовать такую кастомную сортировку. См. ниже:

students = [
("Alice", 22),
("Bob", 20),
("Charlie", 24)
]

# Сортируем студентов по возрасту, используя lambda-функцию как key
students.sort(key=lambda students: students[1])
print(students)

# [('Bob', 20), ('Alice', 22), ('Charlie', 24)]


Метод sort() является стабильным (stable), то есть сохраняет относительный порядок равных элементов в отсортированном списке.

Если у двух элементов одинаковый ключ сортировки, их исходный порядок сохраняется. Например, если у "Alice" и "Bob" одинаковый возраст, их порядок останется прежним. Это и называется стабильной сортировкой (stable sorting). См. пример:

students = [
("Alice", 22),
("Bob", 22),
("Charlie", 24)
]

# Сортируем студентов по возрасту, используя lambda-функцию как key
students.sort(key=lambda students: students[1])
print(students)

# [('Alice', 22), ('Bob', 22), ('Charlie', 24)]


Как видно, порядок элементов "Alice" и "Bob" не изменился, потому что у них одинаковый возраст.

👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

Немного базы Python. День 4: Получение текущего времени и даты

Ниже приведенный код показывает, как можно получить текущее время с помощью модуля datetime. Метод now() возвращает объект datetime, представляющий текущие дату и время в соответствии с системными часами. Метод strftime() форматирует время для нужного вывода. Этот код показывает, как использовать модуль datetime вместе с методом strftime(), чтобы получить отформатированную строку времени в формате часов, минут и секунд.

from datetime import datetime

time_now = datetime.now().strftime('%H:%M:%S')
print(f'Текущее время: {time_now}')


Текущее время: 17:37:28


Что, если мы хотим вернуть сегодняшнюю дату? Мы можем использовать date из модуля datetime. Ниже используется метод today():

from datetime import date

today_date = date.today()
print(today_date)


2023-09-20


👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

Конец игры

👉 @PythonPortal

Читать полностью…

Python Portal

Ускорь JSON-ответы FastAPI в 2 раза, а то и больше

1. Обновись до только что вышедшего FastAPI 0.131.0
2. Объявляй response model (тип возврата)

После этого @pydantic будет заниматься JSON-сериализацией на стороне Rust 🦀

https://fastapi.tiangolo.com/advanced/custom-response/#json-performance

👉 @PythonPortal

Читать полностью…

Python Portal

Гвидо ван Россум (отец Python) выпустил новую версию typeagent, Python-библиотеки, над которой он работал с середины прошлого года, и все больше делал это вместе с Claude. Она реализует память для агентов.

Установка: pip install typeagent.

CHANGELOG.md

👉 @PythonPortal

Читать полностью…

Python Portal

VPN за 60 секунд

👉 @PythonPortal

Читать полностью…

Python Portal

10 библиотек Python для генеративного ИИ, которые нужно освоить в 2026 году

👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы Python. День 10 - Абсолютное значение (модуль) числа

Допустим, у тебя есть отрицательное число и ты хочешь получить его абсолютное значение. Для этого можно использовать функцию abs(). Функция abs() возвращает абсолютное значение любого числа (положительного, отрицательного и комплексного). Ниже показано, как получить список абсолютных значений из списка, где есть и отрицательные, и положительные числа. Используем list comprehension.

list1 = [-12, -45, -67, -89, 34, 67, -13]

print([abs(num) for num in list1])


[12, 45, 67, 89, 34, 67, 13]


Также abs() можно применять к числу с плавающей точкой, и она вернет абсолютное значение. Смотри ниже:

num = -23.12

print(abs(num))


23.12


➡️Использование модуля math

Если тебе нужны более продвинутые математические функции, можно использовать fabs() из модуля math. Эта функция всегда возвращает float.

import math

num = -23.12
absolute_value = math.fabs(num)
absolute_value


23.12


➡️Использование lambda-функции

Можно также использовать lambda, чтобы превратить отрицательное число в модуль. Код ниже проверяет, меньше ли x нуля (то есть отрицательное ли значение). Если да, возвращает -x, по сути убирая минус и делая число положительным. Если x не отрицательное (больше или равно 0), возвращает x как есть.

num = -23.12
absolute_value = (lambda x: -x if x < 0 else x)(num)
absolute_value


23.12


👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

Всегда пиши код так, будто тот, кому потом его поддерживать, это буйный психопат, который знает, где ты живешь.

— Аноним

Знаете какие-нибудь забавные имена переменных?

👉 @PythonPortal

Читать полностью…

Python Portal

Python-совет по дизайну: используй @property только для O(1) операций

Люди обычно ожидают, что всё, что выглядит как доступ к атрибуту, работает быстро.

Не хочется же жать Ctrl-C на чтении атрибута, потому что там спрятан расчёт уровня Deep Thought на 7,5 миллионов лет:

>>> life.meaning
42


👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы Python. День 8 - Сделать вложенный список плоским

Я покажу вам три (3) способа, как можно развернуть двумерный список. В первом методе используется цикл for, во втором используется модуль itertools, а в третьем используется списковое включение (list comprehension).

⚙️ С помощью цикла for:

Для этого метода мы используем вложенный цикл for. Внешний цикл проходит по внутренним спискам, а внутренний цикл обращается к элементам во внутренних списках.

# In [19]:
list1 = [[1, 2, 3],[4, 5, 6]]

newlist = []
for list2 in list1:
for j in list2:
newlist.append(j)

print(newlist)


[1, 2, 3, 4, 5, 6]


⚙️ С помощью модуля itertools:

Функцию itertools.chain.from_iterable() из модуля itertools можно использовать, чтобы развернуть вложенный список. Этот метод может не подойти для списков с глубокой вложенностью.

# In [20]:
import itertools

list1 = [[1, 2, 3],[4, 5, 6]]

flat_list = list(itertools.chain.from_iterable(list1))
print(flat_list)


[1, 2, 3, 4, 5, 6]


Вы можете увидеть, что вложенный цикл был развернут.

⚙️ С помощью list comprehension

Если вы не хотите импортировать itertools или писать обычный цикл for, можно просто использовать list comprehension.

# In [21]:
list1 = [[1, 2, 3], [4, 5, 6]]

flat_list = [i for j in list1 for i in j]
print(flat_list)


[1, 2, 3, 4, 5, 6]


List comprehension хорошо подходит для умеренно вложенных списков. Для глубоко вложенных списков он не подходит, так как код становится хуже читаемым.

⚙️ С помощью генераторной функции

Можно создать генераторную функцию, которая делает yield элементов из вложенного списка, а затем преобразовать генератор в список.

# In [22]:
def flatten_generator(nested_list):
for sublist in nested_list:
for item in sublist:
yield item

list1 = [[1, 2, 3], [4, 5, 6]]

flat_list = list(flatten_generator(list1))
flat_list


Out[22]: [1, 2, 3, 4, 5, 6]


Метод с генератором подходит для разворачивания больших или глубоко вложенных списков. Это потому, что генераторы экономно расходуют память.

👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

Шпаргалка по библиотеке Pandas

👉 @PythonPortal

Читать полностью…

Python Portal

Алгоритмы оптимизации от MIT:

https://drive.google.com/file/d/1Rx7MAekKZbyNVc5B2MNfR0HXXIEJCksp/view

👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы Python. День 6 - Обмен значениями переменных

В Python можно менять местами переменные после того, как им уже присвоены объекты. Ниже мы сначала присваиваем 20 переменной x и 30 переменной y, а потом меняем их местами: x становится 30, а y становится 20. Этот способ называется упаковкой и распаковкой кортежа (tuple packing/unpacking).

x, y = 20, 30
x, y = y, x

print('x is: ', x)
print('y is: ', y)


x is 30
y is 20


Также можно использовать оператор XOR (exclusive or), чтобы поменять переменные местами. Это трехшаговый метод. В примере ниже мы меняем местами значения x и y.

x = 20
y = 30

# шаг первый
x ^= y
# шаг второй
y ^= x
# шаг третий
x ^= y

print(f'x is: {x}')
print(f'y is: {y}')


x is: 30
y is: 20


Также можно использовать арифметические операции (сложение и вычитание), чтобы поменять переменные местами без временной переменной. Однако этот метод рекомендуется для обмена переменных числовых типов данных. Вот пример:

# Используем арифметические операции
x = 5
y = 10

x = x + y
y = x - y
x = x - y

print("After swapping:")
print("x =", x)
print("y =", y)


After swapping:
x = 10
y = 5


В результате этих арифметических операций значения x и y были фактически поменяны местами. После обмена x содержит исходное значение y (10), а y содержит исходное значение x (5).

Этот способ обмена переменных без временной переменной основан на том, что когда вы прибавляете или вычитаете значение одной переменной из другой, можно эффективно обменять их значения без необходимости в дополнительном хранилище.

👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

Главное захотеть 🧠

👉 @PythonPortal

Читать полностью…

Python Portal

Чувак сжал 2,87 ГБ данных до 8,9 МБ (!) с помощью своего кастомного компрессора данных :D

Там было 21k JSON-файлов с данными о крикетных матчах, он использовал их структуру и сжал это до ~42,46 МБ

Максимум, что смог gzip, это ~53 МБ, а 7z ~45 МБ.

Потом он скомбинировал свой компрессор + 7z и ужал до 8,9 МБ

Это ЧИСТАЯ случайность, дальше сжать уже просто нельзя.

Ему пришлось почитать про энтропию Шеннона и алгоритмическое сжатие данных

Полный разбор в GitHub-репозитории 😎

👉 @PythonPortal

Читать полностью…

Python Portal

Совет для AI-инженеров 💡

Небольшая VLM, дообученная на вашем кастомном датасете, по точности может быть на уровне GPT-5 и при этом стоит в 50 раз дешевле.

Например, LFM2.5-VL-1.6B от Liquid Ai можно гонять локально на полной скорости через llama.cpp ↓

- Python CLI пример

👉 @PythonPortal

Читать полностью…

Python Portal

Немного базы. День 3: Календарь в Python

В Python есть встроенный модуль calendar. Мы можем импортировать этот модуль, чтобы вывести календарь. С календарём можно делать много разных вещей.

Допустим, мы хотим посмотреть апрель 2022 года. Мы используем класс month из модуля calendar и передадим год и месяц в качестве аргументов. См. ниже:

import calendar

month = calendar.month(2022, 4)
print(month)


Есть ещё много всего, что можно сделать с calendar. Например, с его помощью можно проверить, является ли заданный год високосным или нет. Давай проверим, високосный ли 2022 год.

import calendar

month = calendar.isleap(2022)
print(month)


False


👉 @PythonPortal #100daysofpython

Читать полностью…

Python Portal

На Stepik добавили курс «Linux с нуля»

Этот курс закрывает всю обязательную Linux-базу для работы в IT. Подойдёт для:

- разработчиков
- девопсов и админов
- специалистов по данным и ML
- специалистов поддержки и сопровождения
- тестировщиков и безопасников


Внутри 20+ модулей: от установки Linux и работы с файлами до сетей, прав, дисков, процессов, автоматизации на Bash и многого другого. Всё сразу закрепляется на практике (200+ заданий с автопроверкой)

Материал подаётся понятным языком, шаг за шагом, на реальных примерах и с наглядными схемами

После прохождения вы получите сертификат, который можно добавить в резюме.

В ближайшие 48ч курс доступен со скидкой 30% по промокоду «23LINUX30»: открыть курс на Stepik

Читать полностью…
Subscribe to a channel