岗位职责

1. 负责小说、漫画、视频网站等内容平台的数据采集系统设计、开发与维护。

2. 负责多源站点的数据抓取、解析、清洗、去重、入库与质量校验，保障数据稳定、完整、及时。

3. 设计高可用、高并发、可扩展的爬虫架构，支持任务调度、代理池、失败重试、限速控制、监控告警等能力。

4. 针对复杂页面、动态渲染、登录态、风控策略等场景，制定稳定、合规、可持续的采集方案。

5. 结合 AI 编程工具提升研发效率，包括代码生成、脚本开发、数据解析规则生成、异常定位、测试用例生成等。

6. 负责采集链路性能优化，包括抓取效率、资源消耗、存储结构、任务吞吐与异常恢复能力。

7. 与产品、内容、后端团队协作，支撑小说、漫画、视频等业务数据的搜索、推荐、聚合、更新与运营需求。

8. 建立爬虫工程规范，包括代码规范、数据校验规范、异常处理规范、监控与日志规范。

岗位要求

1. 5 年以上后端或爬虫系统开发经验，至少 2 年以上复杂爬虫架构设计经验。

2. 熟练掌握 PHP、Go、Python，具备线上高并发服务或大规模任务系统开发经验。

3. 熟悉 Python 爬虫生态，如 Requests、httpx、aiohttp、Scrapy、BeautifulSoup、lxml、Playwright、Selenium 等。

4. 熟悉 HTTP/HTTPS、Cookie、Session、Token、Headers、Referer、CORS、WebSocket 等网络协议与机制。

5. 熟悉 HTML、CSS、XPath、正则、JSON、DOM 解析，能够处理多种网页结构与接口数据。

6. 熟悉小说、漫画、视频类站点的数据结构特点，如章节、图片资源、播放源、剧集、清晰度、字幕、封面、标签、作者、更新状态等。

7. 熟悉 MySQL、Redis、MongoDB、Elasticsearch 等常见存储或检索组件，有大数据量处理经验。

8. 熟悉任务队列、定时任务、分布式调度、消息队列等机制，如 Redis Queue、RabbitMQ、Kafka、NSQ 等。

9. 熟悉反爬与风控常见机制，具备代理池、UA 池、请求签名分析、动态参数解析、JS 渲染处理等实践经验。

10. 熟练使用 AI 编程工具，如 ChatGPT、Claude、Cursor、GitHub Copilot、Codex 等，能结合业务场景提升开发、调试和文档产出效率。

11. 熟悉 Linux 环境，具备 Shell 脚本、日志分析、服务部署、性能排查能力。

12. 具备良好的工程质量意识，能够编写可维护、可监控、可回滚的生产级代码。

加分项

1. 有小说、漫画、短视频、长视频、影视聚合、内容搜索、资源站采集相关项目经验优先。

2. 有 Go 高并发爬虫框架、PHP 业务后台、Python 分布式采集系统建设经验优先。

3. 熟悉 Playwright、Puppeteer、Selenium、Chrome DevTools Protocol 等浏览器自动化工具优先。

4. 熟悉 FFmpeg、M3U8、HLS、MP4、图片切片、视频播放源解析等音视频相关技术优先。

5. 有大规模代理池、账号池、验证码识别、分布式采集节点管理经验优先。

6. 有数据质量监控、内容去重、相似度识别、增量更新策略设计经验优先。

7. 有 AI Agent、自动化代码生成、Prompt Engineering、RAG、LLM API 调用或 MCP 工具链使用经验优先。

8. 有利用 AI 辅助爬虫规则生成、网页结构分析、异常日志归因、数据清洗策略生成经验优先。

任职素质

1. 对技术细节敏感，具备较强的问题定位和逆向分析能力。

2. 有较强的系统性思维，能从稳定性、扩展性、成本和风险角度设计方案。

3. 对新技术保持关注，能主动使用 AI 工具提升个人和团队研发效率。

4. 责任心强，能保障核心数据链路稳定运行。

5. 具备良好的沟通能力，能和产品、后端、运维、内容团队高效协作。