今天就和大家一起来讨论一下python实现12306余票查询(pycharm+python3.7),一起来感受一下python爬虫的简单实践
我们说先在浏览器中打开开发者工具(F12),尝试一次余票的查询,通过开发者工具查看发出请求的包
余票查询界面
可以看到红框框中的URL就是我们向12306服务器发出的请求,那么具体是什么呢?我们来看看
https://kyfw.12306.cn/otn/leftTicket/queryZ"https://kyfw.12306.cn/otn/resources/js/framework/station_name.js" rel="external nofollow" >https://kyfw.12306.cn/otn/resources/js/framework/station_name.js"text-align: center">
站点编码对应
下面我们就编写一个小程序,将这些城市名与编号提取出来:
import re,requests url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js" response = requests.get(url,verify=False) #将车站的名字和编码进行提取 chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text) chezhan_code = dict(chezhan) #进行交换 chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys())) #打印出得到的车站字典 print(chezhan_names)
得到的打印结果如下(只截取部分显示):
{'VAP': '北京北', 'BOP': '北京东', 'BJP': '北京', 'VNP': '北京南', 'BXP': '北京西', 'IZQ': '广州南', 'CUW': '重庆北', 'CQW': '重庆', 'CRW': '重庆南', 'CXW': '重庆西', 'GGQ': '广州东', 'SHH': '上海', 'SNH': '上海南', 'AOH': '上海虹桥', 'SXH': '上海西', 'TBP': '天津北', 'TJP': '天津', 'TIP': '天津南', 'TXP': '天津西', 'XJA': '香港西九龙', 'CCT': '长春', 'CET': '长春南', 'CRT': '长春西', 'ICW': '成都东', 'CNW': '成都南', 'CDW': '成都', 'CSQ': '长沙', 'CWQ': '长沙南',}
接下来我们就动手开始程序的主要代码编写:
def main(): date = input("请输入时间(如2019-01-22):\n") from_station = chezhan_code[input("请输入起始站点:\n")] to_station = chezhan_code[input("请输入目的站点:\n")] url = "https://kyfw.12306.cn/otn/leftTicket/queryZ" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400" } url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT" #print(url) 已经检查过生成的URL是正确的 #request请求获取主页 r = requests.get(url,headers=headers) r.raise_for_status() #如果发送了一个错误的请求,会抛出异常 r.encoding = r.apparent_encoding showTicket(r.text)
用户输入时间、起始站点、目的站点,然后通过get来请求,然后我们对返回的网页信息进行解析。我们现将上面代码的r.text进行打印,看看我们请求之后,返回了什么样的信息,然后决定我们应该如何解析
运行结果
这样看着不方便,我们粘贴到记事本中,进行详细的分析:
请求返回的结果信息
可以与12306显示的信息进行对比,K829是车次,CDW与BJQ是出发地和目的地,10:10是出发时间,06:13是到达时间,44:21是历时时间,20190123为查询的日期,剩下的就是一系列票的各种信息。
下面就是对这些返回的信息进行解析,其实这也是python爬虫的关键,就是解析!!!
我们先把信息转化为json格式,可以看到都是用“|”隔开的,那么我们就用split函数分割出来,下面是主要功能代码:
def showTicket(html): html = json.loads(html) table = PrettyTable([" 车次 ","出发车站","到达车站","出发时间","到达时间"," 历时 ","商务座"," 一等座","二等座","高级软卧","软卧","动卧","硬卧","软座","硬座","无座","其他","备注"]) for i in html['data']['result']: name = [ "station_train_code", "from_station_name", "to_station_name", "start_time", "arrive_time", "lishi", "swz_num", "zy_num", "ze_num", "dw_num", "gr_num", "rw_num", "yw_num", "rz_num", "yz_num", "wz_num", "qt_num", "note_num" ] data = { "station_train_code": '', "from_station_name": '', "to_station_name": '', "start_time": '', "arrive_time": '', "lishi": '', "swz_num": '', "zy_num": '', "ze_num": '', "dw_num": '', "gr_num": '', "rw_num": '', "yw_num": '', "rz_num": '', "yz_num": '', "wz_num": '', "qt_num": '', "note_num": '' } #将各项信息提取并赋值 item = i.split('|') #使用“|”进行分割 data["station_train_code"] = item[3] #获取车次信息,在3号位置 data["from_station_name"] = item[6] #始发站信息在6号位置 data["to_station_name"] = item[7] #终点站信息在7号位置 data["start_time"] = item[8] #出发时间在8号位置 data["arrive_time"] = item[9] #抵达时间在9号位置 data["lishi"] = item[10] #经历时间在10号位置 data["swz_num"] = item[32] or item[25] #特别注意,商务座在32或25位置 data["zy_num"] = item[31] #一等座信息在31号位置 data["ze_num"] = item[30] #二等座信息在30号位置 data["gr_num"] = item[21] #高级软卧信息在21号位置 data["rw_num"] = item[23] #软卧信息在23号位置 data["dw_num"] = item[27] #动卧信息在27号位置 data["yw_num"] = item[28] #硬卧信息在28号位置 data["rz_num"] = item[24] #软座信息在24号位置 data["yz_num"] = item[29] #硬座信息在29号位置 data["wz_num"] = item[26] #无座信息在26号位置 data["qt_num"] = item[22] #其他信息在22号位置 data["note_num"] = item[1] #备注信息在1号位置 color = Colored() data["note_num"] = color.white(item[1]) #如果没有信息,那么就用“-”代替 for pos in name: if data[pos] == "": data[pos] = "-" tickets = [] cont = [] cont.append(data) for x in cont: tmp = [] for y in name: if y == "from_station_name": s = color.green(chezhan_names[data["from_station_name"]]) tmp.append(s) elif y == "to_station_name": s = color.red(chezhan_names[data["to_station_name"]]) tmp.append(s) elif y == "start_time": s = color.green(data["start_time"]) tmp.append(s) elif y == "arrive_time": s = color.red(data["arrive_time"]) tmp.append(s) elif y == "station_train_code": s = color.yellow(data["station_train_code"]) tmp.append(s) else: tmp.append(data[y]) tickets.append(tmp) for ticket in tickets: table.add_row(ticket) print(table)
那么我们程序就成功啦!!!
运行结果
但是在编译器里面Prettytable的格子没有对齐,不要担心,我们到终端运行一下脚本,就可以看到很好看的输出啦:
终端运行结果
完成!!!下面是完整代码
main.py
# -*- coding: utf-8 -*- import re,requests,datetime,time,json from prettytable import PrettyTable from colorama import init,Fore from stationinfo import chezhan_code,chezhan_names init(autoreset=False) class Colored(object): def yeah(self,s): return Fore.LIGHTCYAN_EX + s + Fore.RESET def green(self,s): return Fore.LIGHTGREEN_EX + s + Fore.RESET def yellow(self,s): return Fore.LIGHTYELLOW_EX + s + Fore.RESET def white(self,s): return Fore.LIGHTWHITE_EX + s + Fore.RESET def blue(self,s): return Fore.LIGHTBLUE_EX + s + Fore.RESET def showTicket(html): html = json.loads(html) table = PrettyTable([" 车次 ","出发车站","到达车站","出发时间","到达时间"," 历时 ","商务座"," 一等座","二等座","高级软卧","软卧","动卧","硬卧","软座","硬座","无座","其他","备注"]) for i in html['data']['result']: name = [ "station_train_code", "from_station_name", "to_station_name", "start_time", "arrive_time", "lishi", "swz_num", "zy_num", "ze_num", "dw_num", "gr_num", "rw_num", "yw_num", "rz_num", "yz_num", "wz_num", "qt_num", "note_num" ] data = { "station_train_code": '', "from_station_name": '', "to_station_name": '', "start_time": '', "arrive_time": '', "lishi": '', "swz_num": '', "zy_num": '', "ze_num": '', "dw_num": '', "gr_num": '', "rw_num": '', "yw_num": '', "rz_num": '', "yz_num": '', "wz_num": '', "qt_num": '', "note_num": '' } #将各项信息提取并赋值 item = i.split('|') #使用“|”进行分割 data["station_train_code"] = item[3] #获取车次信息,在3号位置 data["from_station_name"] = item[6] #始发站信息在6号位置 data["to_station_name"] = item[7] #终点站信息在7号位置 data["start_time"] = item[8] #出发时间在8号位置 data["arrive_time"] = item[9] #抵达时间在9号位置 data["lishi"] = item[10] #经历时间在10号位置 data["swz_num"] = item[32] or item[25] #特别注意,商务座在32或25位置 data["zy_num"] = item[31] #一等座信息在31号位置 data["ze_num"] = item[30] #二等座信息在30号位置 data["gr_num"] = item[21] #高级软卧信息在21号位置 data["rw_num"] = item[23] #软卧信息在23号位置 data["dw_num"] = item[27] #动卧信息在27号位置 data["yw_num"] = item[28] #硬卧信息在28号位置 data["rz_num"] = item[24] #软座信息在24号位置 data["yz_num"] = item[29] #硬座信息在29号位置 data["wz_num"] = item[26] #无座信息在26号位置 data["qt_num"] = item[22] #其他信息在22号位置 data["note_num"] = item[1] #备注信息在1号位置 color = Colored() data["note_num"] = color.white(item[1]) #如果没有信息,那么就用“-”代替 for pos in name: if data[pos] == "": data[pos] = "-" tickets = [] cont = [] cont.append(data) for x in cont: tmp = [] for y in name: if y == "from_station_name": s = color.green(chezhan_names[data["from_station_name"]]) tmp.append(s) elif y == "to_station_name": s = color.yeah(chezhan_names[data["to_station_name"]]) tmp.append(s) elif y == "start_time": s = color.green(data["start_time"]) tmp.append(s) elif y == "arrive_time": s = color.yeah(data["arrive_time"]) tmp.append(s) elif y == "station_train_code": s = color.yellow(data["station_train_code"]) tmp.append(s) else: tmp.append(data[y]) tickets.append(tmp) for ticket in tickets: table.add_row(ticket) print(table) def main(): date = input("请输入时间:\n") from_station = chezhan_code[input("请输入起始站点:\n")] to_station = chezhan_code[input("请输入目的站点:\n")] url = "https://kyfw.12306.cn/otn/leftTicket/queryZ" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400" } url=url+"leftTicketDTO.train_date="+date+"&leftTicketDTO.from_station="+from_station+"&leftTicketDTO.to_station="+to_station+"&purpose_codes=ADULT" #print(url) 已经检查过生成的URL是正确的 #request请求获取主页 r = requests.get(url,headers=headers) r.raise_for_status() #如果发送了一个错误的请求,会抛出异常 r.encoding = r.apparent_encoding showTicket(r.text) #print(r.text) main()
stationinfo.py
import re,requests url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js" response = requests.get(url,verify=False) #将车站的名字和编码进行提取 chezhan = re.findall(r'([\u4e00-\u9fa5]+)\|([A-Z]+)', response.text) chezhan_code = dict(chezhan) chezhan_names = dict(zip(chezhan_code.values(),chezhan_code.keys())) #print(chezhan_names)
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。