平台覆盖与能力
MarsYoo 面向跨平台公开内容数据。不同平台的原始结构不同,但对外查询层保持统一抽象:你可以按平台、内容类型、时间、关键词、语义和结构化字段查询,不需要理解每个平台的采集实现。
本页目录
| 章节 | 内容 |
|---|---|
| 平台能力矩阵 | 当前公开能力、状态、新鲜度和内容类型 |
| 平台范围 | 第一版平台枚举 |
| 内容类型 | 对外可见的统一 content_type |
| 通用字段 | 跨平台稳定字段 |
| 平台案例 | 典型平台的数据形态 |
| 指标口径 | 播放、阅读、点赞、评论等指标如何映射 |
| 扩展字段 | 平台特有字段如何保留 |
平台能力矩阵
能力矩阵说明某个平台在当前产品中的公开状态。历史索引 表示可查询已入库数据;实时采集 表示可以通过 Live Query 或混合检索触发新的采集任务;监测 表示可以进入后续 Monitor/订阅场景。实际可访问范围仍受组织策略、应用订阅和数据合规策略限制。
| 平台 | 状态 | 历史索引 | 实时采集 | 评论 | 字幕/转录 | 监测 | 新鲜度 | 数据形态 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| Redditreddit | Beta | 小时级 | postcommentthreadauthor | 适合公开讨论、评论树、主题追踪和 AI/开发者生态研究。 | |||||
| Google 搜索google_search | Beta | 近实时 | web_pageserp_result | 按 SERP 结果建模,保留排名、摘要、域名和结果类型。 | |||||
| YouTubeyoutube | Beta | 小时级 | videochannelcommenttranscript | 视频、频道、评论和字幕/转录进入统一内容与 parts 模型。 | |||||
| 小红书xiaohongshu | Beta | 小时级 | postnotecommentocr | 笔记、图文 OCR、评论和收藏指标适合消费、旅游和品牌场景。 | |||||
| 微博weibo | Beta | 近实时 | postcommentreposttopic | 适合实时公开舆情、话题和转发传播链分析。 | |||||
| 闲鱼xianyu | Beta | 小时级 | product_listingsellermetric_snapshot | 商品、卖家和价格/想要数快照进入通用 facts 与 metrics。 | |||||
| Mediummedium | Beta | 日级 | articleauthorpublication | 公开文章可检索;受限内容只返回公开预览和来源链接。 | |||||
| LinkedInlinkedin | 内测 | 日级 | job_postingcompanyprofile | 招聘与公司字段以 facts 表达;对外开放取决于数据来源策略。 | |||||
| Instagraminstagram | 内测 | 日级 | postreelcommentocr | 图文、Reels 和 OCR 适合品牌内容研究;当前按授权范围开放。 | |||||
| TikToktiktok | 规划中 | 小时级 | videocommentcreatorhashtag | 短视频、创作者和话题能力已进入模型规划,按采集器接入逐步开放。 | |||||
| B 站bilibili | 规划中 | 日级 | videocommenttranscript | 视频、评论、弹幕和字幕字段已按 video/parts/metrics 预留。 |
planned 表示规划能力,不代表已上线;internal 表示尚未普遍对外开放。布尔能力还需结合状态与实际授权判断,新鲜度是产品分类,不是每条内容的时效 SLA。「数据形态」包含作者、频道、OCR 等对象或片段,不可直接作为 content_type 过滤值;合法枚举见下表和公开 OpenAPI。
第一版平台范围
| 分组 | 平台 |
|---|---|
| 中国内容平台 | douyin 抖音、kuaishou 快手、bilibili B 站、wechat_channels 视频号、xiaohongshu 小红书、weibo 微博、wechat_article 微信公众号、zhihu 知乎 |
| 中国交易平台案例 | xianyu 闲鱼 |
| 国际内容平台 | reddit、medium、linkedin、instagram、tiktok、youtube |
| 发现与网页 | google_search、google_news、google_trends、website、rss、news |
| 应用商店 | app_store、google_play,实际数据覆盖取决于已接入采集器与授权 |
平台是否可用取决于数据产品授权、采集覆盖和合规策略。接口返回中以 source_platform 作为稳定平台枚举。
内容类型
| content_type | 说明 | 平台示例 |
|---|---|---|
post | 社交媒体帖子、动态、短内容 | 微博、小红书、Reddit |
article | 长文章、公众号、专栏 | Medium、微信公众号、知乎 |
video | 视频内容,可包含描述、字幕、转录 | YouTube、TikTok、B 站、视频号 |
comment | 评论、回复、楼层内容 | Reddit、微博、小红书 |
product_listing | 商品、交易或应用详情 | 闲鱼、Google Play |
review | 商品或应用评论 | Google Play |
job_posting | 招聘职位 | |
web_page | 普通网页、新闻页、RSS 文章 | website、news、rss |
通用字段
| 字段 | 含义 |
|---|---|
document_id | MarsYoo 文档 ID,用于读取详情、版本、快照 |
dataset_id | 数据产品或数据域,例如社媒、电商、招聘 |
source_platform | 平台枚举 |
external_content_id | 平台侧稳定内容 ID |
canonical_url | 内容标准 URL |
content_type | 统一内容类型 |
author | 作者、账号、频道、卖家或公司主体 |
content | 标题、正文摘要、URL、发布时间等标准内容 |
metrics | 互动和传播指标的当前投影 |
parts | 字幕、OCR、章节、规格、评论片段等多段内容 |
facts | 价格、公司、地点、技能等可筛选结构化事实 |
platform_payload | 平台特有字段 |
平台案例
| 平台 | 对外内容形态 | 重点字段 | 说明 |
|---|---|---|---|
| YouTube | video | 标题、描述、频道、发布时间、播放、点赞、评论、字幕或音频转录 | 视频没有正文时,可通过 parts.transcript 或 parts.audio_transcript 检索 |
| TikTok / 抖音 / 快手 | video | 描述、作者、话题、播放、点赞、评论、分享 | 短视频标题可能为空,正文通常来自描述、OCR 或转录 |
| B 站 / 视频号 | video | 标题、简介、UP 主/账号、播放、点赞、收藏、弹幕等 | 平台专有指标保留在扩展指标中 |
| 小红书 / Instagram | post | 标题/正文、图片、OCR、作者、点赞、收藏、评论 | 图片文本可作为 parts.ocr 参与检索 |
| 微博 / Reddit | post 或 comment | 正文、作者、发布时间、转发、评论、点赞 | 适合舆情、话题和事件追踪 |
| Medium / 微信公众号 / 知乎 | article | 标题、正文、作者、发布时间、阅读/点赞/评论 | 长正文会被分块检索,详情接口读取完整正文 |
| 闲鱼 | product_listing | 商品标题、价格、想要人数、地区、状态、卖家信息 | 价格、状态、卖家售出/在售数量适合读取快照趋势 |
job_posting | 职位、公司、地点、薪资、技能、工作模式 | 结构化字段进入 facts,便于筛选和聚合 | |
| Google / 网页 / RSS / 新闻 | web_page 或 article | 标题、摘要、URL、来源站点、发布时间 | 适合公开网页发现、新闻跟踪和主题监测 |
指标口径
| 标准指标 | 含义 | 注意事项 |
|---|---|---|
view_count | 浏览、阅读或展示 | 不同平台叫法不同,对外统一表示“被查看” |
play_count | 视频播放 | 视频平台优先使用 |
like_count | 点赞 | 社媒通用 |
comment_count | 评论数 | 帖子、视频、文章通用 |
share_count | 分享数 | 平台不支持时为空 |
collect_count | 收藏、保存、想要 | 小红书、B 站、闲鱼等平台含义接近但不完全相同 |
repost_count | 转发、转载 | 微博等转发型平台 |
author_follower_count | 作者粉丝数快照 | 属于作者状态,不是内容正文 |
随时间变化的指标会作为快照保存。需要趋势时,读取文档快照接口,而不是只看详情里的当前投影。
扩展字段
通用字段优先进入标准模型。只有无法跨平台稳定抽象的字段,才进入 platform_payload 或 platform_metrics。例如:
- B 站弹幕数、投币数。
- 闲鱼卖家信用、芝麻信用、商品状态。
- LinkedIn 申请数、职位级别、远程工作模式。
- Google Trends 热度、区域分布。
使用建议
- 需要跨平台检索时,优先使用
content_type、source_platform、published_at和关键词/语义查询。 - 需要平台专有分析时,读取
facts、platform_payload和platform_metrics。 - 需要趋势时,读取快照接口,按
snapshot_at排序。 - 需要完整正文、字幕或规格时,读取详情页的
content、parts和facts。