本文共 3733 字，大约阅读时间需要 12 分钟。
pyspider ������������������������������������������������������ Tornado IOLoop ������ PeriodicCallback ������������������������������������������������������������������������������������������������������������������������������������������������
������������������������
pyspider ������������������������������������ run.py ������������ fetcher ���������������������������������������������������������
tornado.ioloop.PeriodicCallback ������������������������������������http���splash���phantomjs ������������������������������������������������������������������
1. ������������������
fetcher.run() ������������������������������������������������������������������������
- ������
PeriodicCallback������������������������ Tornado IOLoop ���������������������������������������queue_loop������������������������������������������ - ������������������������
queue_loop���������������������������inqueue���outqueue������������������������������������������������������������ - ���������������������������������������������������������������������������������������������������������������������������������������
http_fetch���phantomjs_fetch���������
2. ������������������
������������������������������������ async_fetch ���������������������������������
- ���������������������
gen.coroutine������������������������������������������������ - ���������������������������������������������������
fetch_type������������������������������������������������http���������������http_fetch������������������ HTTP ���������phantomjs��������������� PhantomJS ������������������������������������splash���������������Splash ���������������������������������������������
- ���������������������������������������
callback���������self.on_result���������������������������������
3. HTTP ������������
http_fetch ���������������������������������������������������������
- ���������������������������������
http_client��������������� HTTP ��������� - ������������������������������������������������������������������������������������������
- ���������������������������������������������������������������������������
4. ������������������
pyspider ��������� Tornado IOLoop ��������������������������������� IOLoop ������������������������������������������������������ ioloop.PeriodicCallback ��������������������������������������������� CPU ������������������������������
���������������������
queue_loop ������������ inqueue ��� outqueue ���������������������������������������������������������������������������������KeyboardInterrupt������������������������������������������������������������������������������poolsize������������������������������������������������������������������������������������������������������������������
PeriodicCallback ��������������������������������� CPU ������������������������������������������������������������������������������������������������������������pyspider ������ Tornado IOLoop ������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
发表评论
最新留言
关于作者
