Anaconda 是专门为了方便使用 Python 进行数据科学研究而建立的一组软件包，涵盖了数据科学领域常见的 Python 库，并且自带了专门用来解决软件环境依赖问题的 conda 包管理系统。

anaconda主要是提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。pip也是python的一个包管理工具，可以和anaconda一样来管理包和下载第三方包。anaconda主要用于创建虚拟环境和包管理。

Anaconda利用工具/命令conda来进行package和en【【微信】】的管理，并且已经包含了Python和相关的配套工具。

conda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。包管理与pip的使用类似，环境管理则允许用户方便地安装不同版本的python并可以快速切换。

Anaconda则是一个打包的集合，里面预装好了conda、某个版本的python、众多packages、科学计算工具等等，所以也称为Python的一种发行版。其实还有Miniconda，它只包含最基本的内容――python与conda，以及相关的必须依赖项，对于空间要求严格的用户，Miniconda是一种选择。

conda将几乎所有的工具、第三方包都当做package对待，甚至包括python和conda自身！因此，conda打破了包管理与环境管理的约束，能非常方便地安装各种版本python、各种package并方便地切换。

Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。

简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编写代码和运行代码，代码的运行结果也会直接在代码块下显示的程序。如在编程过程中需要编写说明文档，可在同一个页面中直接编写，便于作及时的说明和解释。

jupyter和pycharm区别是什么?

1、Python是一种广泛使用的高级的、通用的、解释的、动态编程语言;Python是一种相当古老且流行的语言，是开源的，常被应用于网站开发、科学统计计算、软件开发等甚至更多，Jupyter项目开始于2014年，在所有编程语言中，是一种用于支撑科学计算和交互式计算科学的衍生式IPython。

2、Pycharm它能对类、对象、关键字的补全和自动缩进，能格式化代码，定制代码片段和格式;jupyter允许用户创建和共享文件，文件中可以包括公式、图像以及重要的代码。

3、jupyter拥有交互式组件，可以编程输出视频、图像、LaTaX;不仅如此，交互式组件能够用来实时可视化和操作数据;Pycharm支持错误的突出显示，同时也包含PEP-8，能帮助写出整洁的代码，易于支撑其他语言。

Spyder (前身是 Pydee) 是一个强大的交互式 Python 语言开发环境，提供高级的代码编辑、交互测试、调试等特性，支持包括 Windows、Linux 和 OS X 系统。 总结:spyder是python的一个集成开发环境(IDE)

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程

爬虫分类：

1.通用爬虫

2.聚焦爬虫

3.增量式爬虫

4.robots.txt协议

5.http协议

https协议

requests模块

代码：

案例一：制作简易的网页采集器

网址为红色框内的内容

** UA（UserAgent：请求载体身份标识）： 门户网站的服务器会检测对应请求的载体的身份标识，如果检测到的请求的载体身份为某一款浏览 器，说明该请求是一个正常的请求，但是如果检测到的请求的载体身份不是基于某一款浏览器的，则 表示该请求为不正常的请求(爬虫)

UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器 ** 获取某款浏览器的User-Agent，通过抓包获取 代码如下：

案列二：百度翻译破解

如果数据是json，则返回字典 如果数据是text，则返回字符串

Header中的Referer Referer 是 HTTP 请求header 的一部分，当浏览器（或者模拟浏览器行为）向web 服务器发送 请求的时候，头信息里有包含 Referer 。

Referer的作用？

1.防盗链 将这个http请求发给服务器后，如果服务器要求必须是某个地址或者某几个地址才能访问，而你发送的referer不符合他的要求，就会拦截或者跳转到他要求的地址，然后再通过这个地址进行访问。

2.防止恶意请求 比如静态请求是*.html结尾的，动态请求是*.shtml，那么由此可以这么用，所有的*.shtml请求，必须 Referer 为我自己的网站。

允许 Referer 为空，意味着你允许比如浏览器直接访问，就是空。

案例三

1.re(正则) Regular Expression

元字符

量词

贪婪匹配：匹配字符多的 惰性匹配：匹配字符少的

re模块

2.bs4解析 3.xpath解析

..天猫互助微信群二维码在哪找到,天猫互助微信群二维码在哪找到,天猫互助群500人怎么进的啊,最新2023年 618淘宝年中大促2023天猫互粉微信群,天猫狂欢节天猫互助微信群二维码在哪找到,淘宝理想生活狂欢季天猫互助群500人怎么进的啊。