💻 Бесплатный курс по Scrapy. 4+ часа
В курсе вы узнаете все об вебсрейпинге/парсинге и создадите свой первый проект с Scrapy.
Курс охватывает:
🟢 Создание своего первого парсера на Scrapy.
🟢 Сканирование веб-сайтов и сбор данных с каждой страницы.
🟢 Очистка данных с помощью Items и Item Pipelines
🟢 Сохранение данных в файлы CSV, базы данных MySQL и Postgres.
🟢 Использование поддельных юзер-агентов и заголовков, чтобы избежать блокировки.
🟢 Использование прокси для масштабирования веб-скрапинга без бана.
🟢 Развертывание парсера в облаке и планирование его периодического запуска.
#doc #soft #python
⚡️Легкий способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
Python собеседования: t.me/python_job_interview
Машинное обучение: t.me/ai_machinelearning_big_data
АНАЛИЗ Данных: t.me/data_analysis_ml
Хакинг: t.me/linuxkalii
C#: t.me/csharp_ci
C++ t.me/cpluspluc
Базы данных: t.me/sqlhub
Devops: t.me/devOPSitsec
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Java: t.me/javatg
Javascript: t.me/javascriptv
Мобильная разработка: t.me/mobdevelop
Docker: t.me/+0WdB4uvOwCY0Mjdi
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
Python подготовка с собесу: t.me/python_job_interview
МАТЕМАТИКА: t.me/data_math
C++ собеседования: t.me/cppsobes
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
💻 Так-то я криптоинвестор, такси для души
Бодрого утра и хорошей недели сталкеры ☕️
⚡️В сети начали находить курсы и книги известных онлайн школ в открытом доступе
Вот отсортированная база с тонной материала(постепенно пополняется):
🔗 БАЗА (3385 видео):
(343 видео, 87 книги) — Java
(176 видео, 32 книги) — Git
(293 видео, 63 книги) — C#
(352 видео, 89 книги) — С++
(167 видео, 53 книги) — PHP
(227 видео, 83 книги) — SQL
(163 видео, 29 книги) — Linux
(363 видео, 122 книги) — Python
(415 видео, 168 книги) — Frontend
(143 видео, 33 книги) — Flask
(167 видео, 43 книги) — Django
(197 видео, 49 книги) — Разработка ботов
(137 видео, 93 книги) — Data Science
(113 видео, 82 книги) — GameDev
(129 видео, 73 книги) — QA
Скачивать ничего не нужно — все выложили в Telegram и на YouTube с доступом по ссылке
👹 В Китае айтишник выгорел на работе и пошел… продавать бананы
В итоге ему удалось построить свой бизнес с ежемесячным заработком в $280 000(~25 миллионов рублей).
Успех Лина стал возможен благодаря новому тренду в социальных сетях — продаже зеленых бананов как символа «снятия стресса» 😎
#news
🔥 Полезные библиотеки Python
Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.
Установка:$ pip install requests-html
Пример использования:
1️⃣
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://python.org/')
from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
async def get_pythonorg():
r = await asession.get('https://python.org/')
return r
async def get_reddit():
r = await asession.get('https://reddit.com/')
return r
async def get_google():
r = await asession.get('https://google.com/')
return r
results = asession.run(get_pythonorg, get_reddit, get_google)
results # check the requests all returned a 200 (success) code
[<Response [200]>, <Response [200]>, <Response [200]>]
for result in results:
print(result.html.url)
😲 Генерация от нейросети
Конечно круто, но сколько ещё? 1-2 года с таким темпом развития и все натуральные бубсы заменятся к херам 😰
#news
😰 Telegram Боты на Aiogram 3.x: Деплой бота через Docker
Приветствую, друзья! Сегодня мы разберемся, как деплоить бота с использованием Docker. Многие новички считают Docker сложным, но, прочитав эту статью, вы поймете, что это не так, и полюбите эту технологию.
🔥 PyCharm. Профессиональная работа на Python
PyCharm – лучшая профессиональная среда разработки для программистов Python среди множества доступных интегрированных сред. Независимо от того, в каких целях используется Python – для общих задач автоматизации, создания утилит, веб-приложений, анализа данных, машинного обучения или бизнес-приложений, – инструменты PyCharm упрощают выполнение сложных задач и оптимизируют общую производительность.
В этой книге мы отправляемся в путешествие по универсальной и динамичной сфере разработки Python, чему способствует интегрированная среда разработки PyCharm. Независимо от того, являетесь ли вы программистом-новичком, только начинающим свое приключение в программировании, или опытным разработчиком, желающим улучшить свои навыки Python, эта книга станет вашим надежным помощником.
Вы изучите базовые и расширенные функции PyCharm, узнаете как разрабатывать веб-приложения с помощью Flask, Django, FastAPI и Pyramid, освоите автоматизацию написания кода, отладку и удаленную разработку в PyCharm, а также научитесь выполнять задачи по обработке данных с помощью блокнотов Jupyter, библиотек NumPy, Pandas и других.
Издание адресовано как опытным разработчикам на Python, так и новичкам. Независимо от вашего опыта или уровня знаний, эта книга призвана стать ценным ресурсом для всех, кто хочет изучить программирование на Python и использовать возможности PyCharm для написания эффективного, читаемого и поддерживаемого кода.
😨 Индийский технарь собрал на коленке полноценный, самодельный навигационный радар на Arduino из подручных материалов
Зачем? Ну прост могу ¯\_(ツ)_/¯
😰 Вышла бесплатная нейросеть для клонирования голоса MARS5
Работает на 140 языках (включая русский) — больше, чем у ElevenLabs, при этом качество клонирования на порядок выше.
📂 Ставим локально с GitHub
⚡️ Используем бесплатно на сайте
#python #soft #github
😎 Внимание! Ожидается наплыв нюдсов
Была добавлена возможность открыть фотку под спойлером за Stars ⭐️ (валюта Telegram)
Онлифанщици могут переехать в Telegram 😨
#news
🔥Внимание всем!
24 и 25 июня присоединяйтесь к открытой трансляции Главного зала конференции Saint HighLoad++ 2024
Два дня с 10:00 до 18:00 — самые интересные доклады конференции.
Среди спикеров — Филипп Бочаров (МТС Диджитал). Филипп расскажет историю разработки единого хранилища метрик для экосистемы.
А вместе с его коллегой Евгением Ненаховым разберемся, как работает Streaming Processing на Big Data для рекламных кампаний МТС. И еще 11 огненных докладов без регистрации и смс
👉Полная программа и ссылки для подключения — на сайте: https://clck.ru/3BRu9d?erid=LjN8JuiWh
Партнер трансляции компания МТС - экосистема цифровых сервисов. Одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. В компании работает больше 8 000 IT-специалистов!
🔥 Изучаем Tkinter. Руководство на русском
Tkinter — кросс-платформенная Python библиотека для создания приложений с графическим интерфейсом пользователя.
#doc #python #russain
Мини-курс для тех, кто хочет прокачать свои навыки в направлении Python-разработки и добавить 4 крутых проекта в портфолио.
Регистрация по ссылке: https://epic.st/nG6pib?erid=2VtzqwQGd1S
Кому будет полезен мини-курс:
— Тем, кто уже знает основы Python и хочет дополнить базовые знания крутой практикой
— Тем, кто жаждет карьерных перемен
— Тем, кто хочет попасть в IT, но сомневается
Спикер — Анастасия Борнева, руководитель направления по исследованию данных в «Сбере».
Что будете делать:
— Создадите бота для Telegram, который умеет переводить голос в текст
— Сделаете бота умнее — научите его обрабатывать фотографии
— Узнаете, как парсить сайты — собирать информацию с веб-страниц в удобные таблицы
— Напишете сайт с помощью инструмента Flask
В финале будет прямой эфир, где вы сможете обсудить практические работы и задать вопросы спикеру.
Все участники получат в подарок полезные материалы с чек-листами, гайдами и другими бонусами.
Откройте новые возможности!
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880.
😱 AI faceswap — Дипфейк сервис, который заменит любое лицо на фото в один клик уже тут.
БББ:
📌 Без цензуры
📌 Бесплатно
📌 Без регистрации
Пробуем тут
Лайк не поставил — 1С программистом стал ☕️
#nn #soft
Друзья, приветствую вас в очередной статье. Сегодня я расскажу, как использовать LLAMA3 ИИ в своих проектах. После небольшой подготовки мы приступим к созданию полноценного Telegram бота.
Сегодня мы:
🟢 Научимся устанавливать LLama3 на локальную машину.
🟢 Научимся бесплатно запускать LLama3 через платформу GROQ.
🟢 Разберемся с преимуществами и недостатками первого и второго способа развертывания LLama3.
🟢 Напишем полноценного Telegram бота с использованием aiogram3, который сможет работать как с локальной версией LLAMA3, так и через сервис GROQ (технически он сможет работать с любой подключенной нейросетью).
🟢 Запустим Telegram бота на VPS сервере (опционально).
🔥 Хайповая нейросеть для генерации видео Luma, показала соревнования по гимнастике
Запоминаем упражнения. Сложно, но спина болеть больше не будет 😎
#nn #news #humor
🔥 Полезные библиотеки Python
ScrapedIn — парсер LinkedIn, самой большой соц.сети для технарей без ограничений по API.
Позволяет быстро парсить данные и собирать в XLSX таблицу.
Установка:
$ sudo apt-get install python3-pip -y
$ sudo pip install -r requirements.txt
export LI_USERNAME={username}
export LI_PASSWORD={password}
$ python ScrapedIn.py
6–9 июля проводим Weekend Offer Analytics
Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python или C++, готовых работать в офисном или гибридном режиме на территории России или Республики Беларусь.
Подавайте заявку до 3 июля — и всего за 3 дня пройдите все технические собеседования. После сможете пообщаться с девятью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.
Узнать подробности и зарегистрироваться.
Реклама. ООО "Яндекс". ИНН 7736207543
🚀💻 IT ипотека может скоро уйти в прошлое!
Поторопитесь! IT-ипотека скоро завершится, и это последний шанс воспользоваться выгодными условиями на рынке. Приобретайте квартиру в проектах группы «Самолет» сейчас!
💰 Ипотека от 5% для IT-специалистов с первоначальным взносом от 20% - это минимальная переплата, фиксированная ставка и удобные платежи. Рост стоимости квартиры превышает проценты по ипотеке, что делает покупку выгодной для айтишников.
🌆 Группа «Самолет» предлагает более 40 проектов по всей Москве и области, где каждый найдет идеальный вариант жилья: от экономичных студий до апартаментов премиум-класса. Квартиры поставляются с отделкой и мебелью, что позволяет заселяться и наслаждаться жизнью сразу.
🎯 Для получения IT-ипотеки необходимо иметь основное место работы в аккредитованной IT-компании и зарабатывать от 150 000 руб. Проверьте доступность программы для себя и не упустите свой шанс на выгодную покупку!
💡 Не ждите! Сделайте правильный выбор прямо сейчас и обеспечьте себе комфортное будущее с группой «Самолет».
🤑 Минутка занимательной статистики
Пользователи Steam потратили $19 млрд. долларов, или 1,6 трлн рублей в пересчете, на игры, которые ни разу не запустили 🙃
На эти деньги можно было купить небольшую страну — сумма превышает ВВП Молдовы.
#news
Получайте 100% кешбэк до миллиона рублей на объектное хранилище S3 в Selectel
Выстроить надежную и масштабируемую IT-инфраструктуру проекта можно еще и выгодно. Храните данные и бэкапы в объектном хранилище S3 и 3 месяца получайте 100% кешбэк до 1 миллиона бонусных рублей, которые можно потратить на продукты Selectel.
Преимущества хранилища S3 в Selectel:
▫️ Гибкий и безопасный сервис для больших объемов данных
▫️ Подходит для аналитики, хранения пользовательских данных и бэкапов, а также сервисов с большим количеством цифрового контента
▫️ Автоматическая репликация данных в трех копиях
▫️ Быстрое масштабирование и стабильный доступ к данным (без лимитов к кол-ву данных)
▫️ Соответствует требованиям 152-ФЗ — закона «О персональных данных».
Успейте подать заявку до 31 июля и воспользуйтесь S3 от Selectel со 100% кешбэком: https://slc.tl/gaxna
Реклама ООО «Селектел» erid: 2VtzqxP3UbZ
Разыгрываем 5 ноутбуков!
Роман Сакутин, известный айтишник, разыгрывает среди подписчиков своего канала ноутбуки.
Розыгрыш через официальную функцию телеграма так, что всё честно!
Переходите по ссылке и принимайте участие - /channel/sakutin_csharp/2325
Обязательно подпишитесь на его канал ☝
erid: LjN8KVcFP
🔥 Полезные библиотеки Python
File Injector — Python скрипт, который позволяет вам скрывать от посторонних глаз и записывать любой файл (.zip, .png, .txt, .gba...) в изображении или аудио файле, используя стеганографию.
Вы также можете зашифровать входной файл перед его сохранением.
Установка:
$ git clone https://github.com/carlospuenteg/File-Injector.git
$ cd File-Injector
$ python3 -m pip install -r requirements.txt
$ python3 main.py
Вебинар для 🚀 опытных python-разрабочиков 👨💻 по настройке окружения для свежего питонячьего проекта
💯 Рассмотрим различные инструменты и методы автоматизации, которые могут быть применены для создания и настройки нового проекта на Python с нуля.
🔥 Спикер Станислав Ступников — руководитель отдела разработки одной из крупнейших социальной сети России и опытный преподаватель.
📅 Живой эфир пройдет 3 июля в 20:00 мск в преддверии старта курса «Python Developer. Professional». Все участники вебинара получат специальную цену на обучение.
🔴 Ссылка для регистрации: https://otus.pw/F1O3/?erid=LjN8KB1qY