Scrapy

07 August 2026 16:25

https://github.com/scrapy/itemadapter/issues/124

Scrapy

30 July 2026 08:55

ну конечно надо импортировать даже подизабленное, как ещё сравнивать :)

Scrapy

22 July 2026 17:51

вот такие города они дают выбрать для датацентров:

❯ curl -s -x http://global.rotating.proxyrack.net:10000 -U $PROXYRACK_USERNAME:$PROXYRACK_PASSWORD http://api.proxyrack.net/countries | jq -r .[] | tr -d \\r | xargs -i sh -c 'echo -n {}:; curl -s -x http://global.rotating.proxyrack.net:100
00 -U $PROXYRACK_USERNAME:$PROXYRACK_PASSWORD "http://api.proxyrack.net/countries/{}/cities"'
GE:[]
DE:[
  "Berlin"
]
HN:[]
MD:[
  "Chisinau"
]
GB:[
  "Rainhill",
  "Birmingham"
]
UA:[]
US:[
  "Camden",
  "Agawam",
  "Albany",
  "Little Rock",
  "Chicago",
  "New York",
  "Birmingham",
  "Huntington",
  "Orangeburg",
  "Newark",
  "Medford",
  "Fair Lawn",
  "Dallas"
]
BG:[]

Scrapy

22 July 2026 17:29

о, отлично, спасибо попробую

Scrapy

22 July 2026 17:28

кажется у них нету выбора города для datacenter прокси

Scrapy

09 July 2026 19:35

Боже мой, ну вы прям зачастили

Scrapy

02 July 2026 16:55

получается не зависит какой асинхронный бекенд в скрапи, задачка может быть сьедена гц в любом случае, если самому на нее ссылку не держать

Scrapy

02 July 2026 16:12

а при создании Deferred твистед сам у себя где то на экземпляр держит ссылку? я с ним мало работал и пока не разбирался, просто интересуюсь пока что

Scrapy

01 July 2026 12:08

вам не нравится плейрайт и хочется селениум??

Scrapy

30 June 2026 10:09

Да там был спам был про водителя, удалили уже.

Scrapy

30 June 2026 08:48

Не ужели до такой степени с it беда что предлагают айтишникаи водителям стать

Scrapy

27 June 2026 04:42

Guys, if you have some problem with anti-bot or Captcha, try invisible_playwright browser, totally open source and undetectable!

Scrapy

27 June 2026 02:41

фуххх депнул высшее, отметил
отдохну и снова контрибьютить в скрапи😜

Scrapy

24 June 2026 19:11

А бизнес-модель у него какая?

Scrapy

24 June 2026 08:09

привет, насчет павла осокина не подскажу, но если речь идет о павле осокине, то павел осокин рассказал о павле осокине, где можно павла осокина искать. может пригодится

Scrapy

31 July 2026 15:24

Сейчас интересует ЮСДТ TRC20. Интересуют как разовые, так и постоянные сделки.

Scrapy

30 July 2026 08:54

https://github.com/scrapy/scrapy/issues/7820
Обновлял тут Scrapy до последнего 2.17 и наткнулся на багу:

from scrapy.settings import Settings

s = Settings()
s.set("EXTENSIONS", {"nonexistent.module.Extension": None}, priority="cmdline")
s.get_component_priority_dict_with_base("EXTENSIONS")
# Scrapy <=2.14: OK (None-valued key not imported)
# Scrapy 2.17:   ModuleNotFoundError: No module named 'nonexistent'

Scrapy

22 July 2026 17:30

Там триал вроде на 3 дня есть

Scrapy

22 July 2026 17:29

Есть, в справке у них описано

Scrapy

19 July 2026 17:01

День добрый, подскажите хороших провайдеров прокси. Нужна возможность выбрать конкретный город USA с очень хорошим качеством сети, палятся или нет - без разницы

Scrapy

07 July 2026 14:26

выпустили 2.17.0: https://docs.scrapy.org/en/latest/news.html#scrapy-2-17-0-2026-07-07

Scrapy

02 July 2026 16:19

дефереды на самом деле настолько тонкие что они их хотели вынести в отдельный проект

Scrapy

01 July 2026 12:09

не то что не нравится, просто с селениумом больше опыта

Scrapy

01 July 2026 12:05

Доброго. поделитесь либой.

мне нужно: что то типа на вход url на выходе контент в формате markdown.

Гуглил, нашел этот проект https://github.com/unclecode/crawl4ai, потыкал этот проект в прниципе норм работает но это на базе playwright, но хочется еще варианты может на базе selenium что то есть похожее

Scrapy

30 June 2026 10:08

штукатуром или электриком ща быть норм темка)

Scrapy

28 June 2026 00:44

Ребята, поработал тут с js сервиспайп. Оригинальный исходник после деобфускации получить нельзя, поэтому пришлось делать полноценную реконструкцию. Выкладываю в образовательных целях.

Добавил в gist:

- README где простыми словами описано что вообще там внутри происходит;
- реконструированный js файл;
- python версию (для тех кто js не воспринимает на глаз);
• FP методы которые дергает скрипт (апи вызовы браузера)

При большом желании разобраться можно. Получилось как получилось 🤷

https://gist.github.com/f1-work/d9462bc3e5bc6a92a01e5321b2ee347d#file-readme-md
https://gist.github.com/f1-work/d9462bc3e5bc6a92a01e5321b2ee347d#file-servicepipe-readable-logic-js
https://gist.github.com/f1-work/d9462bc3e5bc6a92a01e5321b2ee347d#file-servicepipe-readable-logic-py
https://gist.github.com/f1-work/d9462bc3e5bc6a92a01e5321b2ee347d#file-methods-md

Scrapy

27 June 2026 02:45

мы тут w3lib ускоряем https://github.com/scrapy/w3lib/pull/259
кто шарит за pbt- велкоме)

Scrapy

24 June 2026 20:07

надо у павла осокина консультацию взять

Scrapy

24 June 2026 19:08

I’m offering €5 to anyone who makes a post about my project invisible_playwright in a group with at least 200,000 members.

Scrapy

17 June 2026 14:43

Ребята, есть идеи, как сделать Invisible_Playwright вирусным?

Я правда считаю, что он сильнее CloakBrowser, и, в отличие от CloakBrowser, он полностью open source. У CloakBrowser около 20 тысяч звёзд на GitHub, а у Invisible_Playwright пока примерно 1.4 тысячи.

Буду рад любым советам по позиционированию, идеям для контента, сообществам, где его стоит показать, или любым другим способам помочь большему числу разработчиков узнать о проекте.