#人工神经网络
FourierKAN - 基于傅里叶变换的PyTorch神经网络层
FourierKAN人工神经网络傅里叶变换深度学习PyTorchGithub开源项目
FourierKAN是一个基于傅里叶变换的PyTorch神经网络层,旨在替代传统的线性层和非线性激活组合。该项目受Kolmogorov-Arnold网络启发,采用一维傅里叶系数,提高了优化效率和数值稳定性。FourierKAN支持CPU和GPU运行,并提供了训练策略和正则化方法。其核心优势在于潜在的内存效率和性能提升,为深度学习模型设计开辟了新的可能性。
rwkv-4-169m-pile - RNN与Transformer的高性能结合:高效文本生成
RWKVGithub开源项目文本生成转换脚本人工神经网络GPUHuggingface模型
RWKV项目由Bo Peng主导,结合RNN和Transformer的优势,提供强大的LLM性能,支持“无限”上下文长度、快速推理和节省显存。该模型支持并行训练,如GPT,可用于高效文本生成,并提供详细的使用和部署指南。项目中提供的多种硬件运行方案,使得用户能够轻松部署在不同环境中,享有快速且节能的文本生成体验,符合现代AI开发需求。