感觉 MeiliSearch 非常耗内存，可否尝试 ZincSearch 作为后端

[antonchen]

我有个群需要同步，数据量接近百万，而 MeiliSearch 有文章表明十万数据占用 1.6G 内存。

仅从 README 上看 ZincSearch 似乎更适合做这事，但我没查询到资源占用相关文章

它还有个 Rust 版本支持集群 ZincObserve

[BennyThink]

Thus, if you run Meilisearch as a standalone program on a server, LMDB will use the maximum RAM it can use.

By default, our indexer uses the sysinfo Rust library to calculate a machine's total memory size. Meilisearch then adapts its behavior so indexing uses a maximum two thirds of available resources. Alternatively, you can use the --max-indexing-memory instance option to manually control the maximum amount of RAM Meilisearch can consume.

设置环境变量 MEILI_MAX_INDEXING_MEMORY=800M 来限制内存使用

Sets the maximum amount of RAM Meilisearch can use when indexing. By default, Meilisearch uses no more than two thirds of available memory.

https://www.meilisearch.com/docs/learn/configuration/instance_options#max-indexing-memory

[antonchen]

明白了，我先试试，看看 1G 内存能跑多少数据，同步完再回来反馈。

[BennyThink]

👍 好，坐等反馈

[antonchen]

已同步完成，目前数据量

Pong!
Index telegram has 1022194 documents

Database size: 13.4GiB
Last update: 2023-05-21T02:16:22.23936982Z

当前 MeiliSearch 容器占用 820.6MiB 内存，MEILI_MAX_INDEXING_MEMORY 限制为 2G，同步数据时建议内存限制稍高些。

目前还有问题，add_timestamp.py 已经执行超过 46 小时。由于在 docker 中执行，目前只能看到 231247/1002164 [46:37:15<113:#

[BennyThink]

看起来内存占用还行。时间戳这个只能等了，越到后面越慢，meilisearch的优化问题……

[BennyThink]

meilisearch/product#652

[BennyThink]

下一个版本准备加上各种不同的适配器，方便任意选择检索引擎

我争取今年做出来🤣

[antonchen]

Pong!
Index telegram has 2373868 documents

Database size: 27.4GiB
Last update: 2023-11-17T08:55:34.792405035Z

目前 MeiliSearch 容器占用 2.443GiB MEILI_MAX_INDEXING_MEMORY 限制为 2GB，因为不常用，运行时间长之后会出现无回复的情况，具体没看日志不知道哪儿的问题。

[BennyThink]

得看个日志才能知道，也可能是 pyrogram 这边的问题

[BennyThink]

已经好了！你试试看！

[antonchen]

已成功运行，几个建议：

1. zincsearch 的 docker 镜像是以 UID，GID 10001 运行的，环境变量改不了，需要补充文档修改数据目录 chown 10001:10001 ./sg_data/zinc 或打包一份 zincsearch
2. SearchGram 自身的 zincsearch 相关配置建议和 zincsearch 环境变量统一。这样只用写一份 env_file
3. 文档中未提及 ENGINE 环境变量说明

---

MeiliSearch 在我的数据量上会很频繁的占用磁盘的读，机械硬盘经不起它满速读取霍霍。
所以上次提交使用情况后我停用到了现在。

Edit: 数据同步完成后我会再同步资源占用情况。