从社区数据看大模型开发生态的全景与趋势.pptx

从社区数据看大模型开发生态全景与趋势

关于我们写开源Bug，做开源项目，搞开源创业，混开源社区，管公司开源，参与开源基金会。分析开源数据，发开源论文，搞开源学术，写开源代码，管开源社区，做公司开源策略。王旭夏小雅...大人，时代变了，大模型来了

目录01案例：热点到数据02全景：社区关系网03热点：项目与趋势04架构与全景图

从热点新闻到社区数据案0例研究

社区的行为数据只反映一部分的社区关系，既不全面，也不充分，并不被视为是对项目本身「好坏」的公平评价，我们只是以此来提供一些参考信息。

我们怎么观察AI开发生态从GitHub上，我们可以有的行为信息项目本身的活动数据。项目本身的Commit/PR/Issue数量、频率、分布情况等项目之间的彼此关联信息——项目之间的互动——通过共同的参与人达到的互动。同时对两个项目的Commit/PR/Issue/Comments等。以及Star/Fork（以下分析中没有使用这两个数据）项目之间可能有的生态关系依赖性有依赖性的项目，有可能会有互相的，尤其是对被依赖项目的贡献竞争性/可替换性同一位置的项目，有可能会有上下游同时给他们贡献上下游（合作）合作者有可能会有彼此的贡献*这里都是有可能，但不是必然的。

从PyTorch,vLLM,LangChain出发https://xiaoya-yaya.github.io/ant-ospo-insights/

+AutoGPThttps://xiaoya-yaya.github.io/ant-ospo-insights/

从AutoGPT,llama.cpp,Chatchat出发https://xiaoya-yaya.github.io/ant-ospo-insights/

向下：从DeepSpeed,Triton,ONNX出发https://xiaoya-yaya.github.io/ant-ospo-insights/

插播一个有趣的发现从过去一年里项目名/仓库名发生变化的这些热门AI项目们：openai/triton-triton-lang/tritonOpenDevin/OpenDevin-All-Hands-AI/OpenHandsjmorganca/ollama-ollama/ollamagoogle/jax-jax-ml/jaxjerryjliu/llama_index-run-llama/llama_indexhiyouga/LLaMA-Efficient-Tuning-hiyouga/LLaMA-FactoryKillianLucas/open-interpreter-OpenInterpreter/open-interpreterollama-webui/ollama-webui-open-webui/open-webuijoaomdmoura/CrewAI-crewAIInc/crewAI多数为从个人项目发起，迅速火爆继而transfer到GitHubORG下面和社区共同治理的，也有从如Google这样的企业生长出来演变成一个中立社区进行托管的，还有因为项目在演化过程中roadmap逐渐发生变化而修改项目名以重新定位公众认知的，如LLaMA-Factory，OpenHands。

一些发现哪些项目会被引入进来改变出发点会改变入选项目，但有些热点项目，不论从哪个点出发，都很容易被引入进来：PyTorch,llama.cpp,huggingface/transformers可以认为关心LLM生态的人都会去这些项目有所表达；距离应用/算法开发比较近的项目热度会更高开发者本身是会有扎堆现象的：比如中国开发者会更容易和中国开发者产生互动：比如ChatChat就更容易把MetaGPT,DB-GPTDify，FastGPT这些项目给联系进来哪些项目不会被引入进来比如Kubernetes，就完全没有被引入，虽然大家都会用它，我们推测：API已经比较稳定，即使是利用了接口也不需要去社区互动；同时快速发展的项目可能更容易有互动以及有很可能的一点——计算生态圈和AI生态圈的开发者之间可能是有相对强的隔离的有些很多人用的项目，但是互动比较少：比如大部分Nvidia的项目都没有被引入进来，推测是单向使用，或者社区比较高冷。

从社区关联到生态关系网生0态全2景

生态是本无所谓有，无所谓无的。正如这些公共接口；其实项目之间本没有公共接口，重复造的轮子多了，也便成了接口。——这不是鲁迅说的，是王旭说的

全景图中用到的前置定义几个不同视角或线索开发阶段从人的输入，到代码进入【代码仓