socket：目前互联网通信的基础，所有通信都是基于此。为以后做 登录扫描 打下基础

尽量用于内网

jiag

from bs4 import BeautifulSoup

soup=BeautifulSoup(html,"html.parser")

#  抓取的页面代码html，送给soup

#  bs4与py版本不一时，会有警告，加上

#  html.parser 可避免

soup.prettify()   #添加缩进，方便查看

soup.head   #获取head标签

soup.body.p  # 取body中的p标签，

soup.find_all("标签")  # 返回列表，相似的用法，但不是列表

soup.find_all(id = True) #找出所有含id的值

import re

import multiprocessing

import time

def worker(interval):

p = multiprocessing.Precess(target=函数名,args(函数参数,))

p.start() 开始

p.pid 进程pid

p.name 进程名字

p.is_alive() 进程是否存活

multiprocessing.cpu_count() cpu使用情况

multiprocessing.active_children() 子进程情况 是一个列表

 daemon属性:

p.daemon=True  主进程结束，子进程也结束

p.join() 先执行子进程，挂起主进程，执行完子进程再执行主进程

lock属性:

多个进程共享资源时用到，一次允许一个子进程进行访问

lock = multiprocessing.Lock()

s=multiprocessing.Semaphore(2)控制对共享资源的访问数量

pip install requests

请求方法 get post delete 等

request.get(url) 请求url

代理

proxies ={

"http(s)":"http(s)://127.0.0.1:8080"

}

requests.get(url,proxies=proxies,verify=False)

使用上边定义的代理，并关掉代理认证，配合bp使用

查看看响应码

r.status_code

查看返回结果

r.text 中文有时候乱码

r.content 推荐

重定向

requsets.get(url,allow_redirects=False)

r.history  查看重定向跳转

关闭重定向

r.requst.headers  请求头

r.headers 返回头

r.request.body 查看请求参数

保存返回结果 写入文件保存

r.encoding 返回编码格式

更改返回的编码格式  r.encoding='utf-8'

headers={} 定义headers头

requests.get(url,headers=headers)

修改cookie

cookies = dict(cookie_are='working')

r.cookies['domain']  响应头cookies

post请求

payload={'name':'loop'}

requests.post=(url,data=payload)

设置超时

r = requests.get(url,timeout=5(None))

使用session

conn = requests.session()

requests.get(url)

r.request.headers