---
# System prepended metadata

title: Untitled

---





## 职业规划百科 -- http://www.careerplanwiki.com/

我们是一个项目，为这个网站（系统）进行资料/信息的填充。

http://www.careerplanwiki.com/wiki/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E9%9B%86%E5%9B%A2%E6%8E%A7%E8%82%A1%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8/5135

因为系统较为复杂，所以，我们本次项目的主要目的是 针对某家公司 进行搜索，然后遍历所有的招聘岗位中的校招部门的职位

* 1. 列表

* 2. 得到列表中所有职位的，，，

	* 2.1 薪资范围

	* 2.2 经验、学历、全职/兼职

	* 2.3 通过上面的搜索，得到一个基本的分析过的结果

3. 针对的网站，包含但不局限于

	* 3.1 lagou.com

	* 3.2 shixiseng.com

	* 3.3 51job.com

	* 3.4 zhaopin.com


需要用到的知识：

* 1. Python的基础

* 2. 爬虫的相关知识

* 3. Numpy，Pandas的基础

* 4. 如果具备可视化的技能的话，更优


Tips: 最难的部门是关于爬虫的相关知识，特别是如果有的网站，增加了反爬的技术的话，会更加的困难。

## 1. 开题，项目基础要求的讲解，爬虫的基础知识

jupyter

https://tianchi.aliyun.com/notebook-ai/home?spm=5176.12281897.0.0.209439a9ijbe1d#notebookLabId=90688&notebookType=PUBLIC&isHelp=false&operaType=5

https://www.baidu.com/

域名： baidu.com

二级域名: www 一般情况下，称呼 www 为主域名

https   http   

https 是 s了的http   security 安全的

http : 超文本传输协议

tcp/ip   tcp : 传输控制协议 

ip     为你分配一个地址，网络上的唯一地址

https://news.163.com/

https://www.lagou.com/

> tips:

写程序对某一个网站进行爬取的时候，一定要进行一个思路的转换。

你写的是程序，而不是浏览器，所以不能用眼睛观察到的，进行分析。

必须把自己当成一个虫子，虫子只会认识一坨一坨的英文数字中文符号。


![image alt](http://www.lgstatic.com/lg-www-fed/common/widgets/un_login_banner/img/logo_41a2761.png)


	作业：

	1. 将今天讲到的HTTP的知识，要进行理解
	2. 要对剩余的部分进行预习

## 2. 针对 lagou.com 进行专项的分析

## 3. 抽查作业结果和部分学员的演示

## 4. 将之前对lagou的爬虫进行优化
	
* 4.1 针对岗位的JD进行抓取
* 4.2 针对抓取的JD进行jieba分词
* 4.3 找到JD中每一类职位所共同拥有的关键词
* 4.4 找到职位诱惑的全量，并将某一条中的职位诱惑与此进行对比

## 5. 将优化完的结果，进行数据库的保存

* 5.1 https://www.db4free.net/


创建表格

```sql
CREATE TABLE `situcms`.`lagou_positions` ( `position_id` INT NOT NULL , `position_name` VARCHAR(100) NOT NULL , `company_name` VARCHAR(100) NOT NULL , `company_size` VARCHAR(50) NOT NULL , `process_phase` VARCHAR(30) NOT NULL , `salary` VARCHAR(20) NOT NULL , `experience` VARCHAR(20) NOT NULL , `fulltime` VARCHAR(20) NOT NULL , `education` VARCHAR(12) NOT NULL , `job_city` VARCHAR(20) NOT NULL , `job_address_detail` VARCHAR(200) NOT NULL , `position_advantage` INT NOT NULL , `publish_time` VARCHAR(20) NOT NULL , `job_description` TEXT NOT NULL ) ENGINE = InnoDB;
```

插入数据

```
INSERT INTO `company_phases` (`phase_id`, `phase_name`, `creat_time`, `update_time`, `remark`) VALUES ('1', '上市公司', '1606289381', '1606289381', '王健旭创建的第一个发展阶段')
```

删除数据

```sql

DELETE FROM `company_phases` WHERE `phase_id` = 1
```

修改表结构

```sql

ALTER TABLE `company_phases` ADD PRIMARY KEY(`phase_id`);

```

* 5.2 Python PyMySQL

* 5.3 CRUD

作业：

- 学会使用DB4Free
- 学会在天池中编辑新的文档
- 学会将CSV翻译成MySQL中的表格，并针对性的分析，什么列可以被优化
- 使用PyMySQL对MySQL数据库进行 增，删，改，查(查询一条，查询多条)
- 提交形式：周六中午前，ipynb 

## 6. 针对数据库中的保存，进行条件查询

## 7. 将项目扩展到其他的网站

## 8. 结项






























