博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
我爱我家-北京-mysql
阅读量:6500 次
发布时间:2019-06-24

本文共 1441 字,大约阅读时间需要 4 分钟。

import requestsfrom lxml import etreefrom day3.mysql_test import mysql_connmyhelper = mysql_conn()sql = 'insert into woaiwojia(target,title,title_1,title_3,strong) values (%s, %s, %s ,%s, %s)'headers = {    'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}for i in range(1,4):    url ='https://bj.5i5j.com/zufang/huilongguan/n{}/'.format(i)    # print(url)    response = requests.get(url, headers=headers)    # with open('woaiwojia.html', 'wb') as f:    #     f.write(response.content)    html_ele = etree.HTML(response.text)    # print(html_ele)    li_list = html_ele.xpath('//ul[@class="pList"]/li')    # print(li_list)    for li_ele in li_list:        # print(li_ele)        target = li_ele.xpath('./div[2]/h3/a')[0].text        # print(target)        title = li_ele.xpath('./div[2]/div[1]/p[1]/text()')[0]        # print(title)        title_1 = li_ele.xpath('./div[2]/div[1]/p[2]/a/text()')[0] + li_ele.xpath('./div[2]/div[1]/p[2]/text()')[0]        # print(title_1)        title_2 = li_ele.xpath('./div[2]/div[2]/span/text()')        for v in title_2:            title_3 = v            # print(v)            strong = li_ele.xpath('./div[2]/div[1]/div[1]/p/strong')[0].text            # print(strong)            data = (target,title,title_1,title_3,strong)            myhelper.execute_modify_mysql(sql, data)

  

转载于:https://www.cnblogs.com/gxsmm/p/9496844.html

你可能感兴趣的文章
DEDECMS教程:上/下一篇文章标题长度的截取方法
查看>>
文件操作示例脚本 tcl
查看>>
大家好,新年快乐。
查看>>
prototype
查看>>
【SQL Server】系统学习之一:表表达式
查看>>
Docker容器入门-基本命令的使用
查看>>
2015湖南省省赛 阶乘除法 暴力
查看>>
SuSE下VNCVIEWER没有出现界面,只有shell窗口的问题
查看>>
软件工程实践2017 个人技术博客
查看>>
poj(2325)线段树
查看>>
Android学习路线
查看>>
Linux下的redis的持久化,主从同步及哨兵
查看>>
在相同的主机上创建一个duplicate数据库
查看>>
Date15
查看>>
从Date类型转为中文字符串
查看>>
bzoj1251: 序列终结者 (splay)
查看>>
rr与hr_RR、AR、OR和HR
查看>>
感情沟通出了问题要怎么解决_当感情出现问题怎么沟通 相处更融洽
查看>>
flutter 卡顿_记一次flutter列表卡顿的优化
查看>>
hive 强转为string_hive数据类型转换、字符串函数、条件判断
查看>>