Skip to content

PDGGK/2024_ai_intership_log

Repository files navigation

AI 实习日志 | AI Internship Logs

Docker Python FastAPI PyTorch

大一升大二暑期实习 | AI研发工程师 | 智能广告审核系统

中文 | English


项目简介

这是我作为 AI研发工程师 实习期间的技术学习与实践记录,共计 46篇 技术日志,涵盖:

领域 内容
AI/LLM 多模态模型、ReAct架构、提示词工程、工具调用
Docker 容器化部署、显存优化、镜像配置
Python FastAPI开发、异步编程、性能优化
系统设计 智能审核系统、规则解析器、数据验证

实习项目概述

在为期三个月的实习期间,我参与了企业级智能审核系统的研发工作,旨在重构传统的广告审核流程。

项目背景

在医疗器械、保健食品等特殊领域,广告内容的合规性审核具有很强的专业性和复杂性。传统的人工审核模式面临着:

  • 效率低下:人工逐条审核耗时耗力
  • 标准不统一:不同审核员判断标准存在差异
  • 难以规模化:业务增长时审核能力无法快速扩展

技术架构演进

项目经历了三个关键阶段:

阶段一:基础功能构建

  • 实现 OCR 和基础图像分析功能
  • 遇到显存管理、准确率和性能问题

阶段二:架构重构与优化

  • 设计智能显存管理系统
  • 引入多模态 AI 模型
  • 实现异步处理框架

阶段三:智能化升级

  • 实现基于 ReAct 的决策系统
  • 模拟人类专家思维方式进行多步推理和验证

核心成果

指标 成果
显存使用峰值 ↓ 75%
处理成功率 99.9%
系统准确率 ↑ 95%+
响应时间 小时级 → 分钟级

技术亮点

  • 智能显存管理:通过实时监控和动态调整,显存使用峰值降低 75%,处理成功率达 99.9%
  • 多模态 AI 集成:结合视觉和语言模型,系统准确率提升至 95% 以上
  • 异步处理框架:通过并行处理和资源池化,响应时间从小时级降至分钟级
  • ReAct 决策机制:结合思维链和工具调用,实现复杂场景下的多步推理,模拟人类专家决策过程

核心技术实践

大语言模型应用

  • 提示词工程:设计结构化提示模板,实现精确的指令控制和输出格式化
  • 工具调用:构建可靠的工具调用机制,处理边缘情况和容错机制
  • 多模态分析:实现图文一体化分析,提取关键信息并进行交叉验证

规则处理与验证

  • 规则解析器:设计高效灵活的规则解析系统,将法规文本转化为结构化数据
  • 大文本处理:实现智能分段算法,处理超长文本的内容理解和上下文维护
  • 规则模型设计:基于 Pydantic 构建类型安全的数据模型,实现自动验证

系统优化

  • 性能调优:实现多级缓存、并行处理和资源池化
  • 错误处理:设计多层次异常捕获和优雅降级策略
  • 数据迁移:设计数据结构优化和迁移方案,降低存储空间并提升处理速度

目录

按主题浏览

Docker 与环境配置 (8篇)
# 标题
2 Docker与Conda环境配置
3 Docker生态系统与开发环境配置
4 Docker环境配置优化:镜像源与网络配置
5 Docker环境配置与最佳实践
6 Langchain-Chatchat项目的Docker化部署
7 Docker容器化部署实践
17 Docker显存优化与异步编程实践
27 Docker性能调优实践
Python 工程实践 (8篇)
# 标题
8 Python虚拟环境与开发环境配置
9 Python跨平台开发与依赖管理
10 Mac环境下的Python虚拟环境与FastAPI部署
18 API服务器配置与版本控制
20 Python企业级应用开发实践
28 Python数据分析与自动化
29 实时数据处理与优化实践
30 异步操作与资源管理优化
AI/LLM 应用开发 (12篇)
# 标题
0 深度学习模型优化实践:显存管理与动态批处理
19 AI场景开发与性能优化
24 视觉识别与LLM优化:多模态分析
31 多模态模型与广告分析
33 ReAct架构与推理实践
34 GPU资源管理与优化
35 ReAct技术选择指南
36 智能法规审核系统:模块化设计
37 基于LLM的广告审核系统
40 保健食品广告智能审核系统
41 构建可靠的LLM工具调用系统
44 基于Pydantic的规则模型设计
广告审核系统 (6篇)
# 标题
21 保健食品广告自动审查系统
22 数据验证与模型优化实践
25 广告审核与模型训练
26 多模态广告审核系统:ReAct架构
42 规则解析器的设计与演进
43 大规模法规文本的智能分段处理
虚拟化与环境 (7篇)
# 标题
11 虚拟化技术与系统架构选择
13 VMware Fusion虚拟机的创建与管理
14 网络配置与远程开发环境
15 虚拟机网络配置与开发工具链整合
16 ARM虚拟机部署与PDF处理优化
23 Mac开发环境与网络配置
32 网络代理技术解析:TUN模式
图像处理与其他 (5篇)
# 标题
1 图像对比系统优化
12 图像对比系统的自适应内存管理
38 Python与百度地图API集成
39 自动化小区分析实践
45 规则结构的优化与简化
完整日志列表 (46篇)
# 中文 English
0 深度学习模型优化实践 Deep Learning Model Optimization
1 图像对比系统优化 Image Comparison System Optimization
2 Docker与Conda环境配置 Docker and Conda Environment Configuration
3 Docker生态系统与开发环境配置 Docker Ecosystem and Development Environment
4 Docker环境配置优化 Docker Configuration Optimization
5 Docker环境配置与最佳实践 Docker Environment Best Practices
6 Langchain-Chatchat的Docker化部署 Docker Deployment of Langchain-Chatchat
7 Docker容器化部署实践 Docker Containerization Practices
8 Python虚拟环境与开发环境配置 Python Virtual Environments Configuration
9 Python跨平台开发与依赖管理 Python Cross-Platform Development
10 Mac环境下的FastAPI部署 FastAPI Deployment on Mac
11 虚拟化技术与系统架构选择 Virtualization Technology and Architecture
12 图像对比系统的自适应内存管理 Adaptive Memory Management
13 VMware Fusion虚拟机管理 VMware Fusion VM Management
14 网络配置与远程开发环境 Network Configuration
15 虚拟机网络与工具链整合 VM Network and Toolchain Integration
16 ARM虚拟机部署与PDF处理 ARM VM Deployment and PDF Processing
17 Docker显存优化与异步编程 Docker Memory Optimization
18 API服务器配置与版本控制 API Server Configuration
19 AI场景开发与性能优化 AI Scenario Development
20 Python企业级应用开发 Python Enterprise Development
21 保健食品广告自动审查系统 Health Food Ad Review System
22 数据验证与模型优化 Data Verification and Optimization
23 Mac开发环境与网络配置 Mac Dev Environment
24 视觉识别与LLM多模态分析 Visual Recognition and LLM
25 广告审核与模型训练 Ad Review and Model Training
26 多模态广告审核系统 Multimodal Ad Review System
27 Docker性能调优实践 Docker Performance Tuning
28 Python数据分析与自动化 Python Data Analysis
29 实时数据处理与优化 Real-Time Data Processing
30 异步操作与资源管理 Async Operations and Resource Management
31 多模态模型与广告分析 Multimodal Model and Ad Analysis
32 网络代理技术:TUN模式 Network Proxy: TUN Mode
33 ReAct架构与推理实践 ReAct Architecture and Reasoning
34 GPU资源管理与优化 GPU Resource Management
35 ReAct技术选择指南 ReAct Technology Guide
36 智能法规审核系统 Intelligent Regulatory Review System
37 基于LLM的广告审核系统 LLM-Based Ad Review System
38 Python与百度地图API集成 Python and Baidu Map API
39 自动化小区分析实践 Automated Community Analysis
40 保健食品广告智能审核系统 Health Food Ad Intelligent Review
41 构建可靠的LLM工具调用系统 Reliable LLM Tool Calling System
42 规则解析器的设计与演进 Rule Parser Design and Evolution
43 大规模法规文本的智能分段 Intelligent Text Segmentation
44 基于Pydantic的规则模型设计 Pydantic Rule Model Design
45 规则结构的优化与简化 Rule Structure Optimization

阅读指南

本仓库中的日志按时间顺序编号,但可以根据以下主题分类阅读:

Docker 与环境配置

FastAPI 应用开发

LLM 与智能系统

数据处理与优化


知识图谱

本仓库使用知识图谱组织技术内容,帮助在不同概念和技术之间建立连接,覆盖以下核心领域:

1. 技术架构与框架

  • ReAct 架构
  • 模块化系统设计
  • FastAPI 应用开发

2. 大语言模型应用

  • 提示词工程
  • 工具调用
  • 多模态分析
  • LLM 输出解析与后处理

3. 数据处理与验证

  • 规则解析
  • 数据模型
  • 文本处理
  • JSON 处理

4. 系统优化与最佳实践

  • 性能优化
  • 错误处理
  • 缓存策略
  • 数据迁移与重构
  • 异步编程模式

5. 测试与监控

  • 测试策略
  • 日志与监控

6. 工程实践与项目管理

  • 代码组织与设计模式
  • 版本管理与演进

详细内容:


技能成长

通过这段实习经历,我的技术能力得到了显著提升:

技术深度

方向 成长
AI应用开发 从基础模型应用到复杂系统集成
系统架构设计 从单一功能实现到模块化、可扩展架构
性能优化 掌握内存管理、并发控制、资源调度等核心技术

工程实践

  • 开发流程:掌握需求分析、架构设计、开发测试的完整流程
  • 质量保障:建立健全的测试、日志和监控体系
  • 持续优化:通过数据驱动的方法持续改进系统性能

业务理解

  • 领域知识:深入理解广告审核领域的专业知识和法规要求
  • 价值转化:将技术创新转化为业务价值,提升效率和准确率
  • 用户视角:从用户需求出发,优化系统交互和体验

Project Overview

Technical learning records from my internship as an AI Development Engineer, containing 46 technical logs.

Background

During a three-month internship, I participated in developing an enterprise-level intelligent review system for advertisement compliance in specialized fields like medical devices and health foods.

Technical Evolution

Phase Focus
Phase 1 Basic OCR and image analysis, facing memory and accuracy challenges
Phase 2 Architecture restructuring with intelligent memory management and multimodal AI
Phase 3 Intelligence upgrade with ReAct-based decision system

Key Achievements

Metric Result
Peak Memory Usage ↓ 75%
Processing Success Rate 99.9%
System Accuracy ↑ 95%+
Response Time Hours → Minutes

Core Technical Practices

LLM Applications

  • Prompt engineering with structured templates
  • Reliable tool calling mechanisms with fault tolerance
  • Multimodal analysis for text-image integration

Rule Processing

  • Efficient rule parsing system for regulatory texts
  • Intelligent segmentation for large text handling
  • Type-safe data models with Pydantic

System Optimization

  • Multi-level caching and parallel processing
  • Graceful degradation strategies
  • Data structure optimization and migration

Contact

About

czsj 实习技术博客

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published