龙之谷手游礼包领取大全 礼包领取地址
龙之谷手游现在已经于全平台上线，单单各种职业的玩法和时装宠物已经让你心动不已了，现在还有各种各样的礼包层出不穷。现在小编给你们分享下龙之谷手游礼...
2024-09-21
15年做不好的代码搜索
编译 ｜ 核子可乐、Tina
宣称，源代码搜索引擎将给业界带来颠覆性变革。
上可供搜索的代码浩如烟海，全球代码仓库已经超过 2 亿，并且这些代码不是静态的：它在不断变化，这就给代码搜索引擎带来了相当大的挑战。
上线 15 年来， 一直努力给大家提供一个好用的代码搜索引擎，但一直不能如愿。这两年， 用 Rust 从头开始构建了自己的搜索引擎，专门用于代码搜索领域，并且自发布后已经极大地改善了该平台的代码搜索能力。
1 从头构建代码搜索引擎的动机
搜索是工程师最常用的功能之一，谷歌内部曾对工程师做一次调研，发现平均每位工程师每天会进行 5.3 次代码搜索会话 ()，执行 12 个代码搜索请求。
对于 这个用户已经达到一亿的代码托管平台来说，具备一个性能良好的搜索引擎尤其重要。然而 自身的代码搜索引擎一度被用户吐槽“形同虚设”，连 工程师 Clem 自己都吐槽说“用户体验糟糕”。在这种情况下，一些开发者会使用额外的工具查找代码，比如 或 。
实际上， 在这十几年中一直在努力改进其搜索引擎，之一版搜索引擎通过将所有公共文档索引到 Solr 实例中来工作。对于公共存储库，当时看起来“一切都挺好”，但大型私有存储库仍然无法搜索。
到 2010 年，搜索领域出现了相当大的动荡，Solr 作为一个子项目加入了 ，而 作为一种在 之上构建和扩展的好方法逐渐兴起。在 2013 年初， 推出了由 集群支持的全新代码搜索，整合了公共和私有存储库的搜索体验并更新了设计。
“当我们之一次部署 时，花了几个月的时间来索引 上的所有代码，当时大约有 800 万个存储库，平均每秒能响应 5 个搜索请求。”
因为运营规模巨大，在发布后的几天或几周内， 就马上经历了之一次代码搜索中断......
再加上代码库的不断增加，“代码搜索是迄今为止我们运营的更大集群，自发布以来，它的规模又增长了 20-40 倍”，该公司发现现有技术的正常运行已经越来越难以维持，“从 Solr 到 ，我们尝试用各种通用文本搜索产品来支持代码搜索，但效果都不好。除用户体验糟糕之外，托管成本还非常昂贵，而且索引速度也很慢。”
他们意识到，代码搜索与一般文本搜索有着很大的区别，毕竟代码是写给机器来理解的，需要利用代码之间的结构和相关性，并且还需要支持正则表达式进行搜索。
“归根结底，现成的东西都不能满足我们的需求，所以我们放弃了开源方案，从头开始构建了搜索引擎。”
2 基于 Rust 语言的搜索引擎
从 2020 年开始， 全力以赴构建自定义搜索引擎。这款代码搜索引擎被命名为 ，用 Rust 编写，它创建并增量维护一个由 Git blob 对象 ID 分片的代码搜索索引。增量的形式能节省大量存储空间，并保证了跨分片的均匀负载分布。同时支持对文档内容进行正则表达式搜索，还可以捕获额外的元数据，例如它还维护符号定义的索引。最终 满足了大家的性能目标：速度非常快，索引也非常紧凑，重量约为（去重）语料库大小的 1/3。
本周一，Clem 发布了一篇博文，讲述了 的工作原理，深入探讨了这个可对四分之一代码仓库进行搜索的新技术。
目前可对近 4500 万个 代码仓库进行访问，涵盖的代码总体量达 115 TB、涉及 155 亿份文档。要在这么多行代码之间切换，单靠 grep（类 Unix 系统上用于搜索文本数据的常用命令行工具）显然是远远不够的。
Clem 解释道，在 8 核英特尔 CPU 上，通过 对内存内的 13 GB 文件执行详尽的正则表达式查询大约需要 2.769 秒，相当于 0.6 GB/ 秒 / 核心。
“我们很快意识到，面对 所拥有的大量数据来说，用 grep 的办法根本行不通。代码搜索实际运行在每节点 64 核、总计 32 节点的集群之上。即使我们设法将 115 TB 的代码全放进内存并实现了完美并行查询，那 2048 个 CPU 也要饱和运行 96 秒才能完成一次查询！在此期间，只有当前查询可以运行，其他操作全都得排队。”
每秒只能执行 0.01 次查询，这就直接给 grep 判了死刑。
于是， 决定将大部分工作预加载至预先计算出的搜索索引当中，这些索引本质上属于键值对映射。如此一来，我们就能使用数字键（而非文本字符串）来搜索编程语言或单词序列等文档特征，从而大大降低对计算资源的需求。
尽管如此，这些索引还是太大、远远超出了内存容量。因此 又为需要访问的各个索引构建了迭代器。根据 Clem 的介绍，这些迭代器会延迟返回经过排序的文档 ID，而各 ID 所代表的正是关联文档的级别和满足的查询条件。
为了保持搜索索引的可管理性， 采取分片方法——使用 Git 的内容可寻址哈希 与增量编码将数据拆分成多个部分，借此存储数据差异（增量）以减少需要抓取的数据和元数据。考虑到 上存放着大量冗余数据（例如不同 fork），这套方案确实效果拔群，一举通过重复数据删除技术将 115 TB 数据缩减至 25 TB。
最终系统的运行速度要远超 grep，将最初可怜的每秒 0.01 次查询提升至每秒 640 次查询。此外，索引的执行速度可达到每秒约 12 万个文档，所以处理全部 155 亿个文档需要约 36 个小时。而由于增量（变更）索引减少了所需抓取的文档数量，重新索引只需要 18 个小时。
Code 目前处于 beta 测试阶段，感兴趣的朋友可以点击此处前往体验（）。
参考链接：
扫一扫关注我们
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，请告知我们，本站将立刻删除涉嫌侵权内容。
相关文章
-
-
-
在三端互通传奇变态神途手游中，那些触动人心的剧情是如何编织的，你体验过吗？
在三端互通传奇变态神途手游中，玩家不仅能够体验到刺激的战斗和丰富的游戏玩法，还能沉浸在一段段精心编织的剧情之中。这些剧情不仅仅......
2024-09-21
-
怪物猎人OL饰品介绍
怪物猎人OL饰品介绍，饰品在猎人成长到一定等级后，可以通过穿戴饰品来提升自身的属性。猎人可以通过完成千狩试炼获得项链粉尘(碎片)，并用获得的项链粉尘在千狩看板娘...
2024-09-21
-
塔防精灵礼包兑换码大全
塔防精灵2023兑换码礼包码一览：TFJL2022、TFJL666、TFJL520、TFJL777、FL666、FL777、VIP666、VIP777、VIP8...
2024-09-21
-
7个月市值蒸发2200亿美元，奈飞怎么了？
2022年，可以说是奈飞的一个转折点。1月，奈飞发布2021年以及第四季度财报。财报显示，截至2021年底，奈飞共拥有2.22亿付费会员，第四季度净增828万。...
2024-09-21
热评文章
2022年专属火龙之神途新版
1.80龙神合击传奇
1.76永恒小极品+5复古传奇
1.76双倍魔天大极品第三季单职业
1.76神梦传奇三职业
1.80聖统圣统合击三职业传奇