Paper_Crawler

从各大学术搜索平台上爬论文信息

使用GitHub Actions定时爬取

Usage

1. fork或clone到自己仓库中

2. 修改配置

修改config.ini中配置，其中：

• page_size: 每次API请求论文数
• query: 键为主题类别，值为关键字(列表)
• sort_by: 排序方式
• sort_order: 升序或降序
• subjectcategory: 主题(默认已选择部分与安全相关的主题)

3. 爬取数据

每次push或每天在国际标准时间22点（北京时间早上6点）运行。

数据存储在./*_db下。

Currently Supports

• arXiv

Reference

• https://github.com/lukasschwab/arxiv.py