Google Scholar 引用世界地图

陈刘，耶鲁大学计算机科学博士候选人。

研究领域：机器学习、时空建模、医学视觉、AI4Science。

新闻

[寻求建议]

1. 这是我第一次处理网页抓取/爬虫。用户报告了稳定性问题，我怀疑主要问题是(1)被验证码或机器人检查捕获，以及(2)被Google Scholar列入黑名单。如果您在这些领域有经验并有好的建议，我将非常感谢您提出GitHub问题或拉取请求。

[2024年8月2日] 版本4.0发布 >>> 逻辑更新。新增输入参数affiliation_conservative。如果设置为True，我们将使用非常保守的方法来识别机构，这将导致更高的精确度和更低的召回率。非常感谢刘志坚的有益讨论。

[2024年7月28日] 版本3.10发布 >>> 逻辑更新。在一位有10,000次引用的教授的资料上进行了测试！

[2024年7月27日] 版本2.0发布 >>> 使用多进程实现10倍加速（我的资料从1小时减少到5分钟）。

[2024年7月26日] 版本1.0发布 >>> 首个适用于我的100次引用资料的工作版本。

目的

这是一个简单的Python工具，用于从您的Google Scholar ID生成HTML引用世界地图。

它易于安装（pip install citation-map，可在PyPI上获得）且易于使用（请参阅用户指南）。

除非您想进行自定义更改，否则无需分叉此存储库。

预期结果

脚本的输出将是一个HTML文件。

如果您在浏览器中打开它，您将看到您自己版本的以下引用世界地图。

此外，还会有一个CSV文件记录引用信息（引用作者、引用论文、被引用论文、机构、详细位置）。

免责声明： 这个工具可能会出现一些小错误：遗漏一些引用作者，在错误位置放置几个标记等。如果您非常在意确保所有引用作者的机构都被包括并准确标记，您可以尝试在Google My Maps上手动注释。这个工具旨在帮助那些无法忍受这个痛苦过程的人，特别是当他们有相当数量的引用时。

注意： 现在您可以使用affiliation_conservative选项在机构精确度和召回率之间进行权衡。如果设置为True，我们将使用Google Scholar验证的引用作者的官方组织名称。这是一种非常保守的方法，因为(1)作者需要在机构面板中自我报告，(2)作者需要用匹配的电子邮件地址进行验证，以及(3)组织需要被Google Scholar记录。例如，Meta（公司）不在列表中。非常感谢刘志坚的有益讨论。

引用

@article{liu2024CitationMap,
  title={CitationMap: A Python Tool to Identify and Visualize Your Google Scholar Citations Around the World},
  author={Liu, Chen},
  journal={TechRxiv},
  year={2024}
}

用户指南

0. 如果您是Python新手，您可能想从一个也帮助管理环境的Python发行版开始（例如anaconda）。一旦您设置好环境（例如，当您在这个教程中达到conda activate env39阶段时），您就可以进入下一步。

1. 通过在conda可访问的命令行中运行以下行来安装此工具。

   pip install citation-map --upgrade
   

2. 找到您的Google Scholar ID。

   • 打开您的Google Scholar个人资料。URL应该采用https://scholar.google.com/citations?user=GOOGLE_SCHOLAR_ID的形式。在这种情况下，您的Google Scholar ID就是字符串GOOGLE_SCHOLAR_ID。
   • 请忽略配置字符串，如&hl=en（主机语言为英语）或&sortby=pubdate（按发布日期排序作品）。
   • 注意：如果您有手动添加到Google Scholar页面的出版物/专利，在运行此工具时您可能想暂时删除它们。由于不兼容，它们可能会导致错误。

3. 在一个空白的Python脚本中，运行以下内容。

   • 注意1：请不要将您的脚本命名为citation_map.py，这会导致循环导入，因为这个包本身共享相同的名称。将其命名为其他名称：例如，run_citation_map.py，run.py等。请参见问题#2。
   • 注意2：使用if __name__ == '__main__'保护似乎是避免多进程问题所必需的，而且这也是一个好习惯。

   from citation_map import generate_citation_map
   
   if __name__ == '__main__':
       # 这是我的Google Scholar ID。用您的ID替换它。
       scholar_id = '3rDjnykAAAAJ'
       generate_citation_map(scholar_id)
   

   请注意，在版本4.0中，我们会在识别机构之前缓存结果。因此，如果您想从头重新运行同一作者，您需要删除缓存（默认位置是'cache'）。

   更多输入参数在演示脚本中显示。

   您可以查看generate_citation_map函数的输入参数（列在下面），以防您需要这些功能。

   参数
   ----
   scholar_id: str
       您的Google Scholar ID。
   output_path: str
       （默认为'citation_map.html'）
       输出HTML文件的路径。
   csv_output_path: str
       （默认为'citation_info.csv'）
       输出csv文件的路径。
   cache_folder: str
       （默认为'cache'）
       保存中间结果的文件夹，在找到（作者，论文）之后但在找到机构之前。
       这是因为用户可能想尝试积极vs保守的方法。
       如果您不想缓存，请设置为None。
   affiliation_conservative: bool
       （默认为False）
       如果为true，我们将使用更保守的方法来识别机构。
       如果为false，我们将使用更积极的方法来识别机构。
   num_processes: int
       （默认为16）
       并行处理的进程数。
   use_proxy: bool
       （默认为False）
       如果为true，我们将使用学术代理。
       对于某些环境来说，这是避免被封锁所必需的，但通常会使事情变慢。
   pin_colorful: bool
       （默认为True）
       如果为true，位置标记将有各种颜色。
       否则，它将只有一种颜色。
   print_citing_affiliations: bool
       （默认为True）
       如果为true，打印引用机构列表（引用作者的机构）。
   

限制

1. 这个工具完全基于Google Scholar。因此，您预期会有低估，原因包括：

   • 您的Google Scholar个人资料不是最新的。
   • 一些引用您的论文没有被Google Scholar索引。
   • 一些引用您的作者没有Google Scholar个人资料。
   • 一些引用您的作者没有报告他们的机构。

2. 进行了网页抓取，验证码或机器人检查经常会捕获我们，特别是在我们频繁爬取时。这在被高度引用的用户中更常见。除非您被Google Scholar封锁，最坏的情况下您将遗漏几个引用作者，这对于高度引用的用户来说可能不是大问题。

3. 机构识别和地理定位问题。这是机构识别和地理定位的联合效应。引用机构的数量将会：

   • 如果一些机构未被geopy.geocoders找到，则被低估。
   • 如果我们与geopy.geocoders发生通信错误，则被低估。
   • （仅限积极方法）如果非机构短语被geopy.geocoders错误地识别为位置，则被高估。
   • （仅限保守方法）如果引用者没有用匹配机构域名的电子邮件地址验证，则被低估。
   • （仅限保守方法）因为所有非主要（有验证电子邮件地址的）机构都被忽略，所以被低估。

   如果您有一些好主意来更好地处理机构字符串，请提出问题或提交拉取请求。请注意，目前我不考虑任何给用户带来额外负担的付费服务或工具，比如GPT API。

调试

1. MaxTriesExceededException或Exception: 获取Google Scholar页面失败或（对所有条目出现[警告！] 被CAPTCHA或机器人检查阻止）。

   • 根据我的经验，这些都是很好的指标，表明您的IP地址因过度爬取（使用scholarly包）而被Google Scholar封锁。
   • 我发现的一个快速解决方法是连接大学VPN并重新运行。我通常在运行该工具两次后遇到这个错误，需要断开并重新连接VPN来"解除封锁"。
   • 如果这不起作用，您可以尝试更改IP地址并减少进程数（例如，设置num_processes=1）。
   • 如果您遇到的[警告！] 被CAPTCHA或机器人检查阻止不超过几次，特别是在您有许多引用作者的情况下，这并不是什么大问题。

2. 在当前进程完成其引导阶段之前，已尝试启动新进程。

   • 我认为这是因为您没有用if __name__ == '__main__'保护主函数。您可以再次查看推荐的脚本。
   • 如果这仍然无法解决问题，您可能需要稍微改写您的脚本。感谢Issue #4中的dk-liang。

     from citation_map import generate_citation_map
     
     def main():
         # 这是我的Google Scholar ID。请替换成您的ID。
         scholar_id = '3rDjnykAAAAJ'
         generate_citation_map(scholar_id)
     
     if __name__ == '__main__':
         import multiprocessing
         multiprocessing.freeze_support()
         main()
     

更新日志

依赖项

依赖项（scholarly、geopy、folium、tqdm、requests、bs4、pycountry、pandas）在通过pip安装时已经被处理。

致谢

这个脚本是在ChatGPT-4o的协助下编写的，但当然经过了大量的调试。