如何使用数据库发布接口?

神箭手平台支持将数据发布到三种数据库上: mysql, pgsql, mongodb


注意:

1. 如需了解更多设置字段映射的信息, 详细教程请参考《如何设置字段映射?》

2. 如果爬虫字段含有数据库类型的数据库关键字(如id, count, sum等), 可能导致数据发布失败, 这种情况请联系神箭手QQ客服: 3507961954

3. 如果用户数据库需要添加发布服务器IP到连接白名单, 详情请参考《如何设置阿里云白名单?》

4. 如果发布到数据库的单条数据过大导致发布失败, 可调整数据库缓冲区的大小和连接时间等参数, 详情请参考《数据发布常见问题解答》

5. 为保证数据能正常发布, 请根据采集数据检查字段存储类型是否能存储对应字段的数据(默认为text类型)

发布效果展示


具体使用步骤:

在神箭手上使用DEDECMS发布接口需要四个步骤: 登录神箭手 ——> 购买爬虫 ——> 配置数据库发布接口 ——> 发布采集数据

步骤一. 登录神箭手

详情请查看文档"如何在神箭手上采集数据?"中的"步骤一. 登录神箭手"

步骤二. 购买爬虫

详情请查看文档"如何在神箭手上采集数据?"中的"步骤二. 购买爬虫"

步骤三. 配置数据库发布接口

1. 在神箭手控制台点击爬虫"管理"按钮, 进入爬虫总览界面, "启动"爬虫, 点击"发布到数据库/网站"模块


2."发布到数据库/网站"模块界面, 点击"新建发布项"按钮


3. 进入"选择发布接口"界面


4. 选中"数据库导出", 点击"下一步"按钮


5. 进入"填写发布接口信息"界面


6. 选择"数据库类型(支持三种: mysql, pgsql, mongodb)"; 填写"数据库地址", "数据库端口", "数据库用户名和密码", 如果系统检测到填写的信息无问题, 会提示"数据库连接成功!"

注意: 用户需确保数据库已开启远程连接权限


7. 数据库连接成功后, 请继续配置"数据库名", "数据库表", "数据库表字符集"信息


如果数据库表选择"新建表", 则无需设置"字段映射", 配置完后即可保存

注意: 当开始发布数据时, 如果数据库表选择"新建表", 系统会在数据库中新建一张名为sjs_task_xx的表(所以请保证填写用户有建表权限), 字段名为爬取数据字段, 发送数据时会根据数据字段名称检查数据库字段名是否一致, 若不一致将会根据数据字段新建另外一张名为sjs_task_xx_1的表(所以请勿修改正在发布中的数据库字段名)


8. 正确填写完信息后, 点击"下一步"按钮

注意: 如果某条信息填写错误, 系统会检测出来并提示用户, 此时, 用户无法进行后续操作


9. 进入"设置字段映射"界面

注意: 如需了解更多设置字段映射的信息, 详细教程请参考《如何设置字段映射?》


10."源数据字段"中选择需要发布的"必填"字段. 一般情况下, 系统会自动识别爬虫中所包含的字段

注意: 用户必须选择一项源数据字段作为必填字段, 否则无法保存插件设置, 也无法正常发布采集数据


11."源数据字段"中选择需要发布的"非必填"字段, 可不填, 不影响插件保存, 也不影响采集数据发布


12. "字段映射"设置好后, 点击"保存设置"按钮


13. 保存插件设置后, 自动跳转到"发布到数据库/网站"界面, 可看到配置好的"数据库导出发布接口". 接口默认是"启动"状态, 点击"编辑"可修改接口配置, 接口"关闭"后可进行删除操作


步骤四. 发布采集数据

在神箭手平台发布采集数据有三种方式: 单条发布, 多条发布, 自动发布

进入爬虫的"爬取结果"界面


方式一. 单条发布

1)."爬取结果"界面, 选择一条需要发布的数据, 点击"发布数据"按钮


2). 选择发布项, 点击"发布"按钮


3). 数据发布成功后会显示发布成功. 如果数据发布失败, 可选择"再次发布", 或根据提示修改插件配置


4). 数据发布成功后, 数据状态会变为"已发布"


方式二. 多条发布

1)."爬取结果"界面, 选择需要发布的多条数据, 点击**"多选发布"按钮


2). 选择发布项, 点击"发布"按钮


3). 发布结束后, 会显示发布成功和失败的数量. 如果数据发布失败, 可重新发布, 或根据提示修改插件配置


4). 数据发布成功后, 数据状态会变为"已发布"


方式三. 自动发布

"自动发布"是付费会员使用的功能, 点此查看神箭手套餐

1)."爬取结果"界面右上角, 点击"自动发布"按钮


2). 选择发布项, 点击"自动发布"按钮


3). 自动发布按数据爬取到的先后顺序, 逐一发布, 可点击"停止发布"来关闭自动发布, 数据发布成功后, 数据状态会变为"已发布"

注意: 自动发布开启后, 会一直发布数据, 如果采集数据已发布完, 自动发布会进入等待状态, 直到采集到新的数据才继续发布