Skip to content

cdn.md

Latest commit

 

History

History
121 lines (105 loc) · 6.67 KB

cdn.md

File metadata and controls

121 lines (105 loc) · 6.67 KB

cdn 相关操作

简介

针对七牛 CDN 的提交刷新、提交预取以及查询刷新、查询预取的操作说明，查询操作可多线程，但对于提交刷新或者预取，因为该操作敏感且存在 qps 限制，故不支持 设置线程数，始终为单线程。这些操作支持：

  1. 操作需要指定数据源，默认表示从七牛空间列举文件执行操作，如非默认或需更多条件，请先配置数据源
  2. 支持通过 -a=<account-name>/-d 使用已设置的账号，则不需要再直接设置密钥，参考：账号设置
  3. 单次对一个 url 刷新/预取请参考 single 操作
  4. 交互式操作随时输入 key/url 进行刷新/预取请参考 interactive 操作

配置

CDN 刷新缓存

config.txt

path=
process=cdnrefresh
ak=
sk=
protocol=
domain=
indexes=
url-index=
is-dir=
参数名 参数值及类型 含义
process cdn 缓存刷新时设置为 cdnrefresh 表示 cdn 缓存刷新操作
ak、sk 长度40的字符串 七牛账号的 ak、sk，通过七牛控制台个人中心获取，当数据源（如 path=://）指定时无需再设置
protocol http/https 使用 http 还是 https 访问资源进行抓取（默认 http）
domain 域名字符串 用于拼接文件名生成链接的域名（七牛存储空间域名可以使用 domainsfrom 命令查询），当指定 url-index 时无需设置
indexes 字符串 设置输入行中 key 字段的下标（有默认值），参考数据源 indexes 设置
url-index 字符串 通过 url 操作时需要设置的 url 索引（下标），未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"
is-dir true/false 是否进行目录刷新，设置为 true 时，输入的 url 或 key 必须是目录形式（即以 / 结尾），默认为 false，表示进行 url 刷新

运行参数：-config=config.txt

关于 url-index

当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址，未设置的情况下则默认从 key 字段 加上 domain 的方式访问源文件地址，key 下标用 indexes 参数设置，默认会根据 parse 类型设置为 0 或 "key"，参见 indexes 索引 及关于 parse 和索引。

批量刷新的 url 条数

刷新操作分为目录刷新和普通 url 刷新，目录刷新默认每次提交 10 条，普通 url 刷新默认每次提交 30 条，如果需要其他规模，可以通过 batch-size 参数来 设置，如 batch-size=50，但是批量刷新普通 url 的每次提交条数上限是 60，批量刷新目录的每次提交条数上限是 10。

命令行方式

-path= -process=cdnrefresh -ak= -sk= -bucket= -batch-size=

CDN 资源预取

config.txt

path=
process=cdnprefetch
ak=
sk=
protocol=
domain=
indexes=
url-index=
参数名 参数值及类型 含义
process cdn 缓存刷新时设置为 cdnrefresh 表示 cdn 缓存刷新操作
ak、sk 长度40的字符串 七牛账号的 ak、sk，通过七牛控制台个人中心获取，当数据源（如 path=://）指定时无需再设置
protocol http/https 使用 http 还是 https 访问资源进行抓取（默认 http）
domain 域名字符串 用于拼接文件名生成链接的域名（七牛存储空间域名可以使用 domainsfrom 命令查询），当指定 url-index 时无需设置
indexes 字符串 设置输入行中 key 字段的下标（有默认值），参考数据源 indexes 设置
url-index 字符串 通过 url 操作时需要设置的 url 索引（下标），未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"

运行参数：-config=config.txt

关于 url-index

当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址，未设置的情况下则默认从 key 字段 加上 domain 的方式访问源文件地址，key 下标用 indexes 参数设置，默认会根据 parse 类型设置为 0 或 "key"，参见 indexes 索引 及关于 parse 和索引。

批量预取的 url 条数

批量预取默认每次提交 30 条，如果需要其他规模，可以通过 batch-size 参数来设置，如 batch-size=50，但是批量预取资源的每次提交条数上限是 60。

命令行方式

-path= -process=cdnprefetch -ak= -sk= -bucket=

CDN 刷新/预取结果查询

config.txt

path=
process=refreshquery/prefetchquery
ak=
sk=
protocol=
domain=
indexes=
url-index=
参数名 参数值及类型 含义
process 查询刷新结果时设置为 refreshquery，查询预取结果时设置为 prefetchquery 表示 cdn 刷新或者预取的查询操作
ak、sk 长度40的字符串 七牛账号的 ak、sk，通过七牛控制台个人中心获取，当数据源（如 path=://）指定时无需再设置
protocol http/https 使用 http 还是 https 访问资源进行抓取（默认 http）
domain 域名字符串 用于拼接文件名生成链接的域名（七牛存储空间域名可以使用 domainsfrom 命令查询），当指定 url-index 时无需设置
indexes 字符串 设置输入行中 key 字段的下标（有默认值），参考数据源 indexes 设置
url-index 字符串 通过 url 操作时需要设置的 url 索引（下标），未设置任何索引和 domain 时根据 parse 类型默认为 0 或 "url"

运行参数：-config=config.txt

关于 url-index

当 parse=tab/csv 时 [xx-]index(ex) 设置的下标必须为整数。url-index 表示输入行中存在 url 形式的源文件地址，未设置的情况下则默认从 key 字段 加上 domain 的方式访问源文件地址，key 下标用 indexes 参数设置，默认会根据 parse 类型设置为 0 或 "key"，参见 indexes 索引 及关于 parse 和索引。

批量查询的 url 条数

每次提交查询条数默认 100 条，如果需要其他规模，可以通过 batch-size 参数来设置，如 batch-size=80，但是查询的每次提交条数上限是 100。

命令行方式

-path= -process=refreshquery/prefetchquery -ak= -sk= -bucket= -batch-size=