介绍

本项目用于在证据固定过程中对没有导出功能或存在导出限制的网页数据进行获取

使用方法

1. 配置config目录下的json文件，在headers.json中添加请求头
2. 在urls.json中添加需要爬取的网址，可以按照如下配置。url记录接口地址，params保存参数信息。method保存请求方式，目前仅支持get和post。totalPage保存每个接口的最大页面数量，pageColumn记录请求参数中的分页字段，dataColumn记录返回结果中要提取的数据字段，多层次以#{wx}进行分割。codeColumn记录接口返回的状态码（非HTTP的状态码）字段名，codeNum记录正常返回数据时对应的值。

{
  "商品管理": {
    "url": "http://vue2.whpj.vip/Goods/index",
    "params": {"page":1,"order":"","sort":""},
    "method" : "POST",
    "totalPage" : 1,
    "pageColumn" : "page",
    "dataColumn" : "data#{wx}data",
    "codeColumn" : "",
    "codeNum" : 200
  },
  "会员管理": {
    "url": "http://vue2.whpj.vip/Membe/index",
    "params": {"page":1,"order":"","sort":""},
    "method" : "POST",
    "totalPage" : 1,
    "pageColumn" : "page",
    "dataColumn" : "data#{wx}data",
    "codeColumn" : "",
    "codeNum" : 200
  }
}

3. 在mappsers.json中配置返回结果的字段名的映射

{
  "商品管理": {
    "goods_id": "商品ID",
    "goods_name": "商品名称",
    "pic": "图片地址",
    "sale_price": "售价",
    "status": "状态",
    "sortid": "排序",
    "create_time": "创建时间",
    "goodscata.class_name": "分类名称",
    "supplier.supplier_name": "供应商名称"
  },
  "会员管理": {
    "membe_id": "会员ID",
    "username": "会员名称",
    "sex": "性别",
    "mobile": "手机号",
    "pic": "图片地址",
    "email": "邮箱",
    "status": "状态",
    "amount": "积分",
    "ssq": "省市区",
    "create_time": "创建时间"
  }
}

4. 如果参数涉及相应的签名算法，则在config.py的sign函数中进行签名计算，修改参数。
5. python main.py (-o 输出文件保存目录)
6. 运行结束后，会将拉取的信息导出为Excel表格

比如一个vueadmin演示平台的接口返回的商品数据，通过mapper对应后可以得到如下的excel