Python是数据分析的首*语言，而网络中的数据和信息很多，如何从中获取需要的数据和信息呢？简单、直接的方法就是用爬虫技术来解决。本书是一本教初学者学习如何爬取网络数据和信息的入门读物。书中不仅有Python的相关内容，而且还有数据处理和数据挖掘等方面的内容。本书内容非常实用，讲解时穿插了22个爬虫实战案例，可以大大提高读者的实际动手能力。本书共分12章，核心主题包括Python零基础语法入门、爬虫原理和网页构造、第*个爬虫程序、正则表达式、Lxml库与Xpath语法、使用API、数据库存储、多进程爬虫、异步加载、表单交互与模拟登录、Selenium模拟浏览器、Scrapy爬虫框架。此外，书中通过一些典型爬虫案例，讲解了有经纬信息的地图图表和词云的制作方法，让读者体验数据背后的乐趣。本书适合爬虫技术初学者、爱好者及高等院校的相关学生，也适合数据爬虫工程师作为参考读物，同时也适合各大Python数据分析的培训机构作为教材使用。详解网络爬虫的原理、工具、框架和方法，内容新，实战案例多详解从简单网页到异步加载网页，从简单存储到数据库存储，从简单爬虫到框架爬虫等技术22个网络爬虫综合实战案例、30个网站信息提取、2500余行代码详解爬虫的3大方法：正则表达式、BeautifulSoup 4库和Lxml库详解爬取数据的4大存储方式：TXT、CSV、MongoDB和MySQL详解Scrapy爬虫框架的安装、项目创建、文件使用及爬取数据的存储
上传时间： 2022-05-22
上传用户：
网络是怎样连接的_户根勤---解压密码：666666目录浏览器生成消息 1——探索浏览器内部1.1 生成HTTP 请求消息51.1.1 探索之旅从输入网址开始 51.1.2 浏览器先要解析URL 71.1.3 省略文件名的情况 91.1.4 HTTP 的基本思路 101.1.5 生成HTTP 请求消息 141.1.6 发送请求后会收到响应 201.2 向DNS 服务器查询Web服务器的IP 地址241.2.1 IP 地址的基本知识 241.2.2 域名和IP 地址并用的理由 281.2.3 Socket库提供查询IP 地址的功能 301.2.4 通过解析器向DNS 服务器发出查询 311.2.5 解析器的内部原理 321.3 全世界DNS 服务器的大接力351.3.1 DNS 服务器的基本工作 351.3.2 域名的层次结构 381.3.3 寻找相应的DNS 服务器并获取IP 地址 401.3.4 通过缓存加快DNS 服务器的响应 441.4 委托协议栈发送消息451.4.1 数据收发操作概览 451.4.2 创建套接字阶段 481.4.3 连接阶段：把管道接上去 501.4.4 通信阶段：传递消息 521.4.5 断开阶段：收发数据结束 53COLUMN 网络术语其实很简单怪杰Resolver 55第章11920用电信号传输TCP/IP 数据 57——探索协议栈和网卡2.1创建套接字 612.1.1 协议栈的内部结构 612.1.2 套接字的实体就是通信控制信息 632.1.3 调用socket 时的操作 662.2 连接服务器682.2.1 连接是什么意思 682.2.2 负责保存控制信息的头部 702.2.3 连接操作的实际过程 732.3 收发数据752.3.1 将HTTP 请求消息交给协议栈 752.3.2 对较大的数据进行拆分 782.3.3 使用ACK 号确认网络包已收到 792.3.4 根据网络包平均往返时间调整ACK 号等待时间 832.3.5 使用窗口有效管理ACK 号 842.3.6 ACK 与窗口的合并 872.3.7 接收HTTP 响应消息 892.4 从服务器断开并删除套接字902.4.1 数据发送完毕后断开连接 902.4.2 删除套接字 922.4.3 数据收发操作小结 932.5 IP 与以太网的包收发操作952.5.1 包的基本知识 952.5.2 包收发操作概览 992.5.3 生成包含接收方IP 地址的IP 头部 1022.5.4 生成以太网用的MAC 头部 1062.5.5 通过ARP 查询目标路由器的MAC 地址 1082.5.6 以太网的基本知识 1112.5.7 将IP 包转换成电或光信号发送出去 1142.5.8 给网络包再加3 个控制数据 1162.5.9 向集线器发送网络包 1202.5.10 接收返回包 1232.5.11 将服务器的响应包从IP 传递给TCP 1252.6 UDP 协议的收发操作1282.6.1 不需要重发的数据用UDP 发送更高效 128第章22.6.2 控制用的短数据 1292.6.3 音频和视频数据 130COLUMN 网络术语其实很简单插进Socket 里的是灯泡还是程序 132从网线到网络设备 135——探索集线器、交换机和路由器3.1 信号在网线和集线器中传输1393.1.1 每个包都是独立传输的 1393.1.2 防止网线中的信号衰减很重要 1403.1.3 “双绞”是为了抑制噪声 1413.1.4 集线器将信号发往所有线路 1463.2 交换机的包转发操作1493.2.1 交换机根据地址表进行转发 1493.2.2 MAC 地址表的维护 1533.2.3 特殊操作 1543.2.4 全双工模式可以同时进行发送和接收 1553.2.5 自动协商：确定最优的传输速率 1563.2.6 交换机可同时执行多个转发操作 1593.3 路由器的包转发操作1593.3.1 路由器的基本知识 1593.3.2 路由表中的信息 1623.3.3 路由器的包接收操作 1663.3.4 查询路由表确定输出端口 1663.3.5 找不到匹配路由时选择默认路由 1683.3.6 包的有效期 1693.3.7 通过分片功能拆分大网络包 1703.3.8 路由器的发送操作和计算机相同 1723.3.9 路由器与交换机的关系 1733.4 路由器的附加功能1763.4.1 通过地址转换有效利用IP 地址 1763.4.2 地址转换的基本原理 1783.4.3 改写端口号的原因 1803.4.4 从互联网访问公司内网 1813.4.5 路由器的包过滤功能 182第章32122COLUMN 网络术语其实很简单集线器和路由器，换个名字身价翻倍？ 184通过接入网进入互联网内部 187——探索接入网和网络运营商4.1 ADSL 接入网的结构和工作方式1914.1.1 互联网的基本结构和家庭、公司网络是相同的 1914.1.2 连接用户与互联网的接入网 1924.1.3 ADSL Modem 将包拆分成信元 1934.1.4 ADSL 将信元“调制”成信号 1974.1.5 ADSL 通过使用多个波来提高速率 2004.1.6 分离器的作用 2014.1.7 从用户到电话局 2034.1.8 噪声的干扰 2044.1.9 通过DSLAM 到达BAS 2054.2 光纤接入网（FTTH）2064.2.1 光纤的基本知识 2064.2.2 单模与多模 2084.2.3 通过光纤分路来降低成本 2134.3 接入网中使用的PPP 和隧道2174.3.1 用户认证和配置下发 2174.3.2 在以太网上传输PPP 消息 2194.3.3 通过隧道将网络包发送给运营商 2234.3.4 接入网的整体工作过程 2254.3.5 不分配IP 地址的无编号端口 2284.3.6 互联网接入路由器将私有地址转换成公有地址 2284.3.7 除PPPoE 之外的其他方式 2304.4 网络运营商的内部2334.4.1 POP 和NOC 2334.4.2 室外通信线路的连接 2364.5 跨越运营商的网络包2384.5.1 运营商之间的连接 2384.5.2 运营商之间的路由信息交换 2394.5.3 与公司网络中自动更新路由表机制的区别 2414.5.4 IX 的必要性 2424.5.5 运营商如何通过IX 互相连接 243第章4COLUMN 网络术语其实很简单名字叫服务器，其实是路由器 246服务器端的局域网中有什么玄机 2495.1 Web 服务器的部署地点2535.1.1 在公司里部署Web 服务器 2535.1.2 将Web 服务器部署在数据中心 2555.2 防火墙的结构和原理2565.2.1 主流的包过滤方式 2565.2.2 如何设置包过滤的规则 2565.2.3 通过端口号限定应用程序 2605.2.4 通过控制位判断连接方向 2605.2.5 从公司内网访问公开区域的规则 2625.2.6 从外部无法访问公司内网 2625.2.7 通过防火墙 2635.2.8 防火墙无法抵御的攻击 2645.3 通过将请求平均分配给多台服务器来平衡负载2655.3.1 性能不足时需要负载均衡 2655.3.2 使用负载均衡器分配访问 2665.4 使用缓存服务器分担负载2705.4.1 如何使用缓存服务器 2705.4.2 缓存服务器通过更新时间管理内容 2715.4.3 最原始的代理——正向代理 2765.4.4 正向代理的改良版——反向代理 2785.4.5 透明代理 2795.5 内容分发服务2805.5.1 利用内容分发服务分担负载 2805.5.2 如何找到最近的缓存服务器 2825.5.3 通过重定向服务器分配访问目标 2855.5.4 缓存的更新方法会影响性能 287COLUMN 网络术语其实很简单当通信线路变成局域网 291第章52324请求到达Web 服务器，响应返回浏览器 293——短短几秒的“漫长旅程”迎来终点6.1 服务器概览2976.1.1 客户端与服务器的区别 2976.1.2 服务器程序的结构 2976.1.3 服务器端的套接字和端口号 2996.2 服务器的接收操作3056.2.1 网卡将接收到的信号转换成数字信息 3056.2.2 IP 模块的接收操作 3086.2.3 TCP 模块如何处理连接包 3096.2.4 TCP 模块如何处理数据包 3116.2.5 TCP 模块的断开操作 3126.3 Web 服务器程序解释请求消息并作出响应3136.3.1 将请求的URI 转换为实际的文件名 3136.3.2 运行CGI 程序 3166.3.3 Web 服务器的访问控制 3196.3.4 返回响应消息 3236.4 浏览器接收响应消息并显示内容3236.4.1 通过响应的数据类型判断其中的内容 3236.4.2 浏览器显示网页内容！访问完成！ 326COLUMN 网络术语其实很简单Gateway 是通往异世界的入口 328附录 330后记 334致谢 334作者简介 335
标签： 网络
上传时间： 2022-06-02
上传用户：fliang
作为一种便捷地收集网上信息并从中抽取出可用信息的方式，网络爬虫技术变得越来越有用。使用Python这样的简单编程语言，你可以使用少量编程技能就可以爬取复杂的网站。《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取。
上传时间： 2022-06-16
上传用户：xsr1983
目前远程抄表多半采用短信通信定时上报方式进行抄表，这种抄表方式比较落后、费用高、实时性差、远程控制能力差、无法及时准确监控现场水表的运行情况等缺点，本文针对目前抄表方式存在种种弊端，提出并设计了基于GPS无线网络的实时在线远程抄表系统，该系统具有实时在线、传输可靠、远程控制、快速高效管理水表等优点。本文设计了远程无线抄表系统由抄表管理中心、抄表设备、水表组成。抄表管理系统与抄表设备是通过GPRS网络进行远程通信，抄表设备与水表之间通过MBUS总线形成一个主从网络。在远程数据管理中心，使用C#开发了抄表设备出厂参数设置软件用于在设备出厂前参数设置，开发Socket服务器端通信软件、数据解析、存储和查询软件，用于远程抄收水表数据的管理；在抄表设备上开发了GPRS通信控制程序，实现数据传输终端与数据管理中心之间的实时在线通信，开发MBUS总线驱动程序，实现MBUS与水表之间通讯，并且制定数据管理中心、抄表设备与水表之间的通讯协议。远程数据管理中心、抄表设备、水表之间数据采用透明转发的方式，远程数据管理中心通过通讯协议管理系统下所有的抄表设备和水表，包括抄表设备基本信息和运行参数的修改，水表数据的抄收、调价、开关阀门等操作。随着电子技术和无线网络迅速的发展，基于GPRS无线网络的远程实时在线抄表技术越来越成熟，传统人工抄表和基于GSM主动上报抄表方式很容易被基于GPRS实时在线抄表方式所取代，该系统具有广阔和良好的应用发展前景。
上传时间： 2022-06-20
上传用户：
热计量表MBUS远传总线接线标准1.M-BUS介绍M-Bus（是Paderborn大学的Dr.Horst Ziegler与TI公司的Deutschland GmbH和TechemGmbH共同提出的，）专门用于公共事业仪表的总线结构，称Meter-Bus，简称M-Bus.M-Bus仪表总线属于局域网（Local Area Net-work，简称LAN），是处于同一幢建筑或方圆几公里远地域内的专用网络，被用于连接远程监控计算机和工作站、测量仪表等设备，以便资源共享和数据传输。M-Bus仪表总线具有LAN的3个基本特征：（1）范围，（2）传输技术，（3）拓扑结构。LAN具有星形、环形和总线形拓扑结构。M-Bus一般采用总线形拓扑结构。如下图M-Bus仪表总线可以满足由电池供电或远程供电的计量仪表的特殊要求。当计量仪表收到数据发送请求时，将当前测量的数据传送到主站，（主站可以是手持单元、计算机或其它终端），主站定期地读取某幢建筑中安装的计量仪表的数据。一般而言，挂接在仪表总线上的计量仪表的数目可达数百个，数据传输距离达数千米。在总线上传送的数据具有高度的完整性和快速性。通信线选择通常选择2芯1.0mm2的RVVP多股铜线线，电源及通信线复用。网络最远距离不宜超过1000m，最大负载数量不宜超过256户。安装注意事项
上传时间： 2022-06-21
上传用户：
本资料为TDK公司电容数据表。TDK一直在电子原材料及电子元器件上占有领导地位。其产品广泛应用于信息、通讯、家用电器以及消费新电子产品，如移动电话、笔记本电脑、平板、汽车、工业设备等。成立于1935年的TDK，早于上世纪60年代已在台湾建立合资企业，其后在香港设立销售网络及生产线。从80年代开始，TDK正式踏足中国大陆，至今已分别在华东、华南以及华北等多个地区相继建立了大型生产据点，业务扩展全国。电容为电路中的常用器件。
上传时间： 2022-06-21
上传用户：
科技的进步为远程抄表的发展提供了技术支持，居民生活水平的提高以及高效的三表数据管理系统产生了对远程抄表系统的需求。针对用户的具体需求以及当前远程抄表系统存在的不足，本论文设计了一种基于MBUS总线技术以及GPRS无线网络技术的燃气表远程抄表系统。本论文设计的远程抄表系统由远程管理中心、GPRS数据传输终端、集中器、采集模块、燃气表组成。远程管理中心与数据传输终端通过GPRS网络进行远程通讯，数据传输终端与集中器之间通过串口进行通讯，集中器与采集模块之间通过MBUS总线形成一个主从系统，每个采集模块连接一个燃气表。在系统开发中，使用VB6.0开发了远程抄表软件、数据传输终端参数设置软件；设计了基于G24模块、MSP430F 149单片机的GPRS数据传输终端，开发了数据传输终端的底层程序；设计了基于MBUS总线技术、MSP430F149单片机的集中器、采集模块，开发了集中器与采集模块之间的MBUS通讯协议。数据传输终端参数设置软件、远程抄表软件均安装于远程管理中心，前者用于在系统运行之前设置数据传输终端的参数，后者用于远程抄收燃气表数据。数据传输终端实现远程管理中心与集中器之间数据的透明转发。集中器通过MBUS通讯协议管理所有燃气表，包括燃气表数据的抄收、存储、修改、清除等操作。采集模块负责采集燃气表的流量值。实际运行结果表明：该系统在软件、硬件的协调工作下，能够准确计量燃气表流量，并可以远程管理燃气表数据，满足实际应用需求。
上传时间： 2022-06-22
上传用户：
美制螺纹尺寸表
上传时间： 2013-06-28
上传用户：eeworm
电力载波远程抄表系统的研究和设计 caj版
上传时间： 2013-06-13
上传用户：eeworm
最新网络通信协议手册
标签： 网络通信协议
上传时间： 2013-06-12
上传用户：eeworm
