加入我们的社区

地理标记模型

该存储库旨在支持开发者构建和训练他们自己的地理标记模型。这里提供的地理标记模型架构允许进行定制和训练。此外，我们还发布了适用于不同地理位置检测场景训练的数据集。

当前模型在最相关的10%文本上达到30公里的哈弗辛距离中位数误差。存储库的问题部分开放了改进模型性能的挑战。

架构和训练

点击展开地理标记模型架构图。

%%{init:{'theme':'neutral'}}%%
flowchart TD
subgraph "ByT5分类器"
  a("输入文本") --> b("输入ID")
subgraph "byt5(T5编码器模型)"
  b("输入ID")  --> c("byt5.encoder.inp_input_ids")
subgraph "byt5.encoder(T5堆栈)"
  c("byt5.encoder.inp_input_ids")  --> d("byt5.encoder.embed_tokens") 
subgraph "byt5.encoder.embed_tokens (嵌入)"
  d("byt5.encoder.embed_tokens")  --> f("嵌入")
  e("byt5.encoder.embed_tokens.inp_weights") --> f("嵌入") --> g("byt5.encoder.embed_tokens.out_0")
end
  g("byt5.encoder.embed_tokens.out_0") --> h("byt5.encoder.dropout(丢弃)") --> i("byt5.encoder.block.0(T5块)") --> j("byt5.encoder.block.1(T5块)") & k("byt5.encoder.block.2-9(T5块)") & l("byt5.encoder.block.10(T5块)")
  j("byt5.encoder.block.1(T5块)") --> k("byt5.encoder.block.2(T5块)<br><br> ...<br><br>byt5.encoder.block.10(T5块) ") --> l("byt5.encoder.block.11(T5块)") --> m("byt5.encoder.final_layer_norm(T5层归一化)")
  m("byt5.encoder.final_layer_norm(T5层归一化)")-->n("byt5.encoder.dropout(丢弃)")--> o("byt5.encoder.out_0")
end
o("byt5.encoder.out_0") --> p("byt5.out_0")
end
p("byt5.out_0")-->q("(线性)")
end
q("(线性)") -->r("logits")

训练你的文本到位置模型

依赖项

确保在你的环境中安装以下依赖项以构建和训练你的地理标记模型：

transformers==4.29.1
tqdm==4.63.2
pandas==1.4.4
pytorch==1.7.1

要使用基于ByT5编码器的方法训练你的地理标记模型，执行以下脚本：

python train_model.py --train_input_file <训练文件> --test_input_file <测试文件> --do_train true --do_test true --load_clustering .

查看train_model.py文件以获取可用参数的完整列表。

输出示例


{
   "text":"这些小猫需要家，位于奥马哈地区！它们已经接种疫苗并绝育/节育。它们需要在1月1日之前离开！请转发以帮助传播消息！",
   "geotagging":{
      "lat":41.257160,
      "lon":-95.995102,
      "confidence":0.9950085878372192
   }
}

{
  "type": "FeatureCollection",
  "features": [
    {
      "type": "Feature",
      "id": 1,
      "properties": {
        "ID": 0
      },
      "geometry": {
        "type": "Polygon",
        "coordinates": [
          [
            [-96.296363, 41.112793],
            [-96.296363, 41.345177],
            [-95.786877, 41.345177],
            [-95.786877, 41.112793],
            [-96.296363, 41.112793]
          ]
        ]
      }
    },
    {
      "type": "Feature",
      "id": 2,
      "properties": {
        "ID": 0
      },
      "geometry": {
        "type": "Point",
        "coordinates": [-95.995102, 41.257160]
      }
    }
  ]
}