添加 Sitemap 和自动把网址提交到 Baidu 和 Bing

By at • 776次点击
youbbs

添加了自动生成 Sitemap 功能,顺便把自动提交到百度、必应的功能添上,前些日子测试了一下,发现主动提交还是有点效果,从个人本站测试看,百度有时来有时不来,必应提交后秒来且秒收。

Google 呢

也测试了 Google, 跟百度一样,没有定数,但如果Google 不来,可以到 https://search.google.com/search-console 3 后台去检查网址并重新请求加入 Google 索引,但这也是提高优先抓取队列。

主动提交的功能是第一时间让搜索引擎收录,一般搜索引擎对每篇300字左右+几张图片的文章很欢迎,尤其是原创度较高的图文。

百度

在百度搜索资源平台注册 https://ziyuan.baidu.com/ 4

路径 站点管理 > 选择对应网址 > 链接提交,看到下图:

接口调用地址 整串填到配置文件 config/config.yamlBaiduSubUrl 项。

Bing

必应也类似,到他的站长平台 https://www.bing.com/toolbox/webmaster/ 11 注册,生成 API 密钥

把你的密钥填入下面网址

https://ssl.bing.com/webmaster/api.svc/json/SubmitUrl?apikey=[你的Bing API 密钥]

再填到配置文件 config/config.yamlBingSubUrl 项。

两个填好后如下图:

为什么没有 Google

Google 的管理员工具很复杂,配置麻烦,而且国内访问不了,还是不放上去了,要添加,光装 go 的依赖库就头大。

如果很在意Google 自己的文章质量很高怕被采集,可以在web 界面提交以加快加入索引。


Bing, Sitemap, Baidu, 网址, 添加


看看蜘蛛🕷️们的表现

程序请求的时间顺序是: 百度、Bing、Google

蜘蛛来的顺序是:Bing、Google 、(log显示百度是来了,是例行公事,只爬他想爬的,没爬刚刚提交的)

Google 顺带爬文章下面的 tag 链接,优秀👍😄

上图太小,放大点的图片

youbbs at 2020-03-04 23:18
1

这个功能上到开源版了吗?

冒烟的蘑菇 at 2020-03-14 19:53
2

@冒烟的蘑菇 #2 已开源

youbbs at 2020-03-14 20:23
3

每分钟提交一次????

tick5 := time.Tick(1 * time.Minute)
冒烟的蘑菇 at 2020-03-18 11:43
4

@冒烟的蘑菇 #4 每1分钟轮询看有没有需要提交的

youbbs at 2020-03-18 11:59
5
登录 后发表评论