报表自动化：每天自动生成FAB日报

【摘要】

本文系统梳理报表自动化与效率工具领域的核心问题与落地路径。生产经理每天早上开晨会，第一件事就是看日报。全文围绕「问题背景：每天花2小时做日报、从MES导出数据、复制到日报模板、计算各项指标、截图贴图」逐层展开，给出原理说明、实操步骤与验证方法。核心结论：日报自动化的核心不是写代码，而是设计好数据流——数据从哪里来、怎么算、输出什么。补充说明：报表自动化的第一步是识别重复劳动的模式：固定格式、固定来源、固定周期、人工搬运。具备这四个特征的工作最适合自动化，投入产出比最高。

【核心要点】

• 问题背景：每天花2小时做日报
• 报表自动化与效率工具：报表自动化的第一步是识别重复劳动的模式：固定格式、固定来源、固定周期、人工搬运。具备这四个特征的工作最适合自动化，投入产出比最高。
• 报表自动化与效率工具：自动化方案应优先选择低维护成本的形态。脚本简单可读、依赖少，长期维护成本低于复杂的定制程序；在企业环境中还需考虑他人能否接手。

【适用场景】

• 周期性报表的自动化改造。
• 数据分析脚本的工程化与可维护性提升。
• 数据质量校验环节的设计与落地。
• 自动化方案的技术选型与团队能力匹配评估。

一、问题背景：每天花2小时做日报

生产经理每天早上开晨会，第一件事就是看日报。

日报内容：

• 昨日生产情况（Lot完成数、良率、平均周期）

• 异常事件回顾

• 关键指标趋势

过去的做法：

报表自动化的第一步是识别重复劳动的模式：固定格式、固定来源、固定周期、人工搬运。具备这四个特征的工作最适合自动化，投入产出比最高。

1. 从MES导出数据

数据源稳定性是自动化的前提。源数据格式频繁变化时，自动化脚本会反复失效，此时应先推动源数据标准化，而不是不断修补脚本。

2. 复制到日报模板

自动化方案应优先选择低维护成本的形态。脚本简单可读、依赖少，长期维护成本低于复杂的定制程序；在企业环境中还需考虑他人能否接手。

3. 计算各项指标

自动化的价值不仅是节省工时，更在于消除人工搬运带来的错误与延迟。数据时效性提升带来的决策改善往往比省下的人力更有价值。

4. 截图贴图

任何自动化流程都必须保留人工复核环节与异常处理路径。自动运行而不设校验的系统，在数据异常时会静默产出错误结果。

5. 发邮件

问题：

从人工流程到自动化的过渡应采取双轨并行：先让自动化流程与人工流程同时运行一段时间，用人工结果校验自动化结果，确认稳定后再停用人工环节。直接切换会让未发现的问题直接影响交付。

1. 每天重复同样的步骤，太浪费

自动化方案的技术选型应优先考虑团队维护能力：数据量与逻辑复杂度都不高时，使用团队现有技能栈内的工具（表格公式、宏、基础脚本）通常比引入新技术更可持续，因为交接与排错成本更低。

2. 偶尔手滑，数字贴错了

自动化的验证机制应包括三层：源数据校验（缺失、格式、取值范围）、过程校验（中间结果是否符合预期范围）、以及结果校验（最终报表的关键指标是否在合理区间）。三层都通过才允许输出。

3. 领导临时要变格式，全部重做

任何自动化流程都需要设置校验点与异常告警：源数据缺失、格式变化、数值异常都应触发告警而非静默产出错误结果。

4. 没人想干这活，谁值班谁倒霉

解决方案：用Python自动生成日报。

---

报表自动化的价值需要量化才能持续获得支持：统计前的人工耗时、错误发生率、以及数据产出时间的变化，用具体数字说明收益，比强调技术含量更有说服力。

二、技术原理：报表自动化的3个步骤

2.1 数据准备

import pandas as pd
from datetime import datetime, timedelta

def prepare_daily_data():
    """获取昨日数据"""
    yesterday = datetime.now() - timedelta(days=1)
    date_str = yesterday.strftime('%Y-%m-%d')
    
    # 从MES获取数据（模拟）
    data = pd.DataFrame({
        'lot_id': [f'FAB-{i:04d}' for i in range(50)],
        'process': ['ETCH', 'PHOTO', 'CVD', 'CMP', 'IMP'],
        'wafer_count': np.random.randint(12, 26, 50),
        'thickness_avg': 1250 + np.random.randn(50) * 3,
        'thickness_std': 1 + np.random.rand(50) * 2,
        'yield_rate': 95 + np.random.randn(50) * 2,
        'cycle_time': np.random.randint(120, 360, 50),  # 分钟
        'start_time': yesterday,
    })
    
    return data

2.2 指标计算

def calculate_kpis(data):
    """计算关键指标"""
    kpis = {
        'total_lots': len(data),
        'total_wafers': data['wafer_count'].sum(),
        'avg_yield': data['yield_rate'].mean(),
        'avg_cycle_time': data['cycle_time'].mean(),
        'abnormal_lots': len(data[data['yield_rate'] < 90]),
        'avg_thickness': data['thickness_avg'].mean(),
    }
    return kpis

2.3 报告生成

def generate_report(kpis, output_path):
    """生成日报文件"""
    report = f"""
FAB日报 - {datetime.now().strftime('%Y-%m-%d')}
{'='*50}

昨日生产概况:
  完成Lot: {kpis['total_lots']}批
  完成Wafer: {kpis['total_wafers']}片
  平均良率: {kpis['avg_yield']:.1f}%
  平均周期: {kpis['avg_cycle_time']:.0f}分钟

异常情况:
  低良率Lot: {kpis['abnormal_lots']}批

质量指标:
  平均厚度: {kpis['avg_thickness']:.2f} A
{'='*50}
"""
    with open(output_path, 'w', encoding='utf-8') as f:
        f.write(report)

---

报表自动化的第一步是流程标准化：口径频繁变化的报表即使自动化也会不断失效，因此先稳定口径与数据源格式，再投入自动化开发。

三、实战案例：完整的日报系统

"""FAB日报自动生成系统（精简版，核心≤80行）"""
import pandas as pd
import numpy as np
from datetime import datetime, timedelta
from pathlib import Path

class FABDailyReportGenerator:
    """FAB日报生成器（精简版）"""
    
    def __init__(self, output_dir="./daily_reports"):
        self.output_dir = Path(output_dir)
        self.output_dir.mkdir(parents=True, exist_ok=True)
        self.data = None
        self.kpis = {}
        self.yesterday = datetime.now() - timedelta(days=1)
    
    def load_data(self, data_source=None):
        """加载数据（为什么支持模拟？因为真实MES数据要申请权限，先用手动数据调试）"""
        if data_source and Path(data_source).exists():
            self.data = pd.read_csv(data_source)
        else:
            # 模拟MES数据（用固定seed保证每天数据不同但可重复）
            np.random.seed(int(self.yesterday.timestamp()))
            n_lots = np.random.randint(30, 60)
            self.data = pd.DataFrame([{
                'lot_id': f'FAB-{self.yesterday.strftime("%m%d")}-{i+1:04d}',
                'process': np.random.choice(['PHOTO', 'ETCH', 'CVD', 'CMP', 'IMP']),
                'wafer_count': np.random.randint(12, 26),
                'thickness_avg': round(1250 + np.random.randn() * 3, 1),
                'yield_rate': round(min(100, max(80, 95 + np.random.randn() * 3)), 1),
                'cycle_time': np.random.randint(120, 360),
            } for i in range(n_lots)])
        return self.data
    
    def calculate_kpis(self):
        """计算关键指标（KPI = Key Performance Indicator，领导最关心这几个数）"""
        df = self.data
        
        # 生产概览（总量指标）
        self.kpis = {
            'date': self.yesterday.strftime('%Y-%m-%d'),
            'total_lots': len(df),
            'total_wafers': df['wafer_count'].sum(),
            'avg_yield': round(df['yield_rate'].mean(), 1),
            'avg_cycle_time': round(df['cycle_time'].mean(), 1),
            'avg_thickness': round(df['thickness_avg'].mean(), 2),
            'low_yield_count': len(df[df['yield_rate']  3)]),
        }
        
        # 分工序统计（groupby是pandas最常用操作，按工序分组算均值）
        self.kpis['process_stats'] = df.groupby('process').agg({
            'lot_id': 'count',
            'yield_rate': 'mean',
            'cycle_time': 'mean',
        }).to_dict('index')
        
        return self.kpis
    
    def generate_text_report(self):
        """生成文本格式日报（为什么用文本？因为邮件正文、微信、钉钉都能直接贴）"""
        date_str = self.yesterday.strftime('%Y年%m月%d日')
        p = self.kpis['process_stats']
        
        lines = [
            "=" * 60, "半导体FAB生产日报", f"日期: {date_str}", "=" * 60, "",
            "【生产概况】",
            f"  完成Lot: {self.kpis['total_lots']} 批",
            f"  完成Wafer: {self.kpis['total_wafers']} 片",
            f"  平均良率: {self.kpis['avg_yield']}%",
            f"  平均周期: {self.kpis['avg_cycle_time']} 分钟",
            f"  平均厚度: {self.kpis['avg_thickness']} A", "",
            "【质量异常】",
            f"  低良率Lot: {self.kpis['low_yield_count']} 批",
            f"  异常合计: {self.kpis['abnormal_count']} 批", "",
            "【分工序统计】",
        ]
        
        for proc, stats in p.items():
            lines.append(f"  {proc}: {stats['lot_id']}批, 良率{stats['yield_rate']:.1f}%, 周期{stats['cycle_time']:.0f}分钟")
        
        lines.extend(["", "=" * 60, f"生成时间: {datetime.now().strftime('%Y-%m-%d %H:%M')}"])
        return "\n".join(lines)
    
    def run(self, data_source=None):
        """执行完整流程"""
        self.load_data(data_source)
        self.calculate_kpis()
        return {'text_report': self.generate_text_report()}

# 使用示例
if __name__ == '__main__':
    generator = FABDailyReportGenerator()
    result = generator.run()
    print(result['text_report'])

---

自动化改造的优先级可用四个维度筛选：执行频次、规则稳定性、数据量、容错要求。频次高且规则稳定的工作收益最确定。

四、效果对比

维度 | 手工日报 | 自动日报 | 提升

生成时间 | 2小时 | 3秒 | 2400倍

错误率 | 5% | <0.1% | 98%

格式扩展性 | 差 | 灵活 | 好

离线可用 | 可以 | 需要配置 | -

---

自动化脚本的可维护性比技术先进性更重要：在企业环境中，脚本可能由他人长期维护，因此可读性、依赖简洁与充分的注释是关键属性。

五、实施建议：报表自动化三阶段

我在FAB推行报表自动化时，发现最大的阻力不是技术，而是“习惯”。工程师们习惯了Excel，觉得“手动做更放心”。要成功推行，得按三个阶段来：

第一阶段：手工报表标准化（第1-2周）

在写第一行代码之前，先把现有的手工报表摸清。我刚去生产部时，发现每个人的日报格式都不一样：

• 张工喜欢用表格，李工喜欢用段落

• 有的人把良率放前面，有的人把周期放前面

• 有的人用红色标注异常，有的人用黄色

我的做法：

自动化的价值不仅是节省人力，更在于消除人工搬运带来的错误与延迟。数据时效性提升带来的决策改善，往往超过节省的工时本身。

1. 跟3-5个工程师聊，看他们现在的日报长什么样

把本应整改的流程问题用脚本绕过去，固化低效流程。

用脚本绕过流程问题，固化低效流程。

MES（制造执行系统，Manufacturing Execution System） 的失败原因里，技术问题通常排在组织问题之后。工艺路线不稳定、职责边界不清、编码体系混乱这三类前置问题未解决时，系统上线只会把混乱数字化。

过度定制。为每个车间的习惯做单独开发，导致后续升级困难、维护成本失控。行业通行做法是先统一主干流程，把差异留在配置层。

2. 提炼出“公共部分”：生产概况、质量异常、分工序统计，这3块是所有人都要的

MES 的数据模型是整个系统的地基：物料、设备、工序、工单、批次五类主数据的编码规则与关联关系一旦确定，后续所有功能都建立在其上。模型设计不当会在系统运行一段时间后集中爆发为数据不一致问题。

只关注功能清单不关注数据质量。系统功能齐全但数据录入随意，最终得到的是无法用于决策的「精确的垃圾」。

上线后不做数据校验与稽核。缺少反向校验机制时，错误数据会持续累积并污染后续所有分析。

3. 设计一个“标准模板”，跟生产经理确认后，作为自动化报表的格式基准

1. 把标准模板用Markdown写出来（为什么用Markdown？因为转HTML、转PDF都很方便）

踩过的坑：一开始想“一步到位”，把每个人要的数据都加进去，结果报表太长，没人看。后来改成“核心报表+定制附件”，核心报表只有1页，定制数据放在Excel附件里。

第二阶段：半自动报表（第3-4周）

标准化后，开始做“半自动”——数据还是要手动导出，但计算和排版由代码完成。

具体步骤：

1. 让工程师每天下班前，把MES数据导出成CSV，放到指定文件夹（比如D:\FAB\\daily_data\\）

2. Python脚本从这个文件夹读取最新的CSV，计算KPI，生成文本报表

脚本无注释无文档，原作者离职后无法维护。

报表自动化收益的量化方法设计。

3. 工程师检查报表，确认无误后，复制粘贴到邮件里发出去

这个阶段的关键是“建立信任”。工程师们看到代码算出来的数字跟手动算的一样，才开始放心。

第三阶段：全自动报表（第5周开始）

信任建立后，就可以做全自动了。我设计了一个简单的自动化流程：

1. 用Windows任务计划程序（Task Scheduler），每天早上6点自动运行Python脚本

2. 脚本从MES数据库直接拉取昨日数据（需要IT部门开一个只读账号）

追溯能力依赖数据的完整性而非系统的复杂度。追溯链要求在物料批次、设备、参数、人员、时间五个维度上都留有记录，任何一环缺失都会让追溯在关键节点断裂。

集成的难点通常在语义而非协议：即使通过统一协议连通了数据，各系统对同一概念的定义（如「完工」是指报工完成还是检验合格）不一致时，数据对不上。因此集成设计必须先统一语义再谈技术。

MES 的用户体验直接影响数据质量：现场人员若觉得录入繁琐，就会出现事后补录、批量代录甚至随意填报，系统内的数据随即失去可信度。简化录入与自动采集的结合是保障数据质量的根本手段。

3. 生成文本报表+Excel明细，自动发送到指定邮箱（用smtplib库）

直接从人工切换到自动，未做双轨验证期。

口径未稳定就自动化，维护成本高于人工。

周期性报表的自动化改造与优先级评估。

4. 如果数据异常（比如良率<90%），额外抄送质量经理

实施要点：

• 全自动不等于“没人管”。我建议每周人工抽查一次，看自动报表跟手动计算是否一致

• 邮件模板要设计好。我一开始把全部数据都放邮件正文，结果被吐槽“太长了，手机上看不全”。后来改成“摘要+附件”，摘要只放关键KPI，详细数据放Excel

• 权限要控制好。生产数据不能乱发，我加了一个“收件人白名单”，只有经理以上才能收到完整数据

---

六、进阶方向：从日报到智能报表系统

基础的日报自动化只是开始，报表系统还有很多可以升级的地方：

基础数据未治理就上系统。物料编码、设备编码、工艺路线版本混乱时，系统内的关联关系会全部失真。

功能边界可依据 ISA-95 的五级模型划定：L4 负责经营计划，L3 负责制造执行（MES 所在层），L2 负责监控与自动化，L1 负责传感与执行，L0 是实际物理过程。边界清晰是避免系统间职责重叠与重复录入的前提。

MES 的实时性要求分层设计：工单状态与报工需要秒级响应，而统计报表与分析可以分钟级甚至小时级。把所有功能都按最高实时性建设会显著推高成本，按需求分层才是合理做法。

1. Jinja2模板引擎：让报表更美观

现在的文本报表虽然能用，但不够美观。可以用Jinja2模板引擎，生成漂亮的HTML报表。Jinja2是Python的模板库，可以把数据和HTML模板分离，方便维护。

from jinja2 import Template

# HTML模板（放在单独的文件里）
template_str = """
FAB日报 - {{ date }}
平均良率: {{ avg_yield }}%
{% if abnormal_count > 0 %}
    异常Lot: {{ abnormal_count }}批
{% endif %}
"""

template = Template(template_str)
html_report = template.render(date=kpis['date'], avg_yield=kpis['avg_yield'], abnormal_count=kpis['abnormal_count'])

2. PDF报告生成：适合正式汇报

给高层的报告通常需要PDF格式。可以用reportlab库或者weasyprint库，把HTML转成PDF。我推荐weasyprint，因为它支持CSS，排版更灵活。

# 用weasyprint把HTML转PDF
from weasyprint import HTML
HTML(string=html_report).write_pdf('daily_report.pdf')

3. 邮件自动发送：定时推送

报表生成后，自动发送到指定邮箱。Python的smtplib库可以搞定，但要注意：

• 不要用个人邮箱发，容易被当成垃圾邮件。申请一个企业邮箱专门用来发报表

• 大附件（比如Excel明细）要压缩，不然邮箱拒收

• 如果报表里有异常数据，主题栏要标注[异常]，让收件人一眼看到

import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart

def send_email(text_report, recipients):
    msg = MIMEMultipart()
    msg['Subject'] = 'FAB日报 - ' + datetime.now().strftime('%Y-%m-%d')
    msg['From'] = 'fab-report@company.com'
    msg['To'] = ', '.join(recipients)
    
    msg.attach(MIMEText(text_report, 'plain', 'utf-8'))
    
    with smtplib.SMTP('smtp.company.com') as server:
        server.send_message(msg)

4. 交互式仪表盘（Dashboard）

比日报更高级的是“实时仪表盘”。可以用Streamlit库，几分钟搭一个Web仪表盘，展示实时生产数据。Streamlit是Python的快速Web应用框架，不需要写HTML/CSS/JS，全用Python搞定。

5. 多语言支持

如果公司在海外有工厂，报表需要英文版。可以用gettext库做国际化，或者简单点，用一个lang字典存储中英文对照。

---

七、总结

日报自动化的核心不是写代码，而是设计好数据流——数据从哪里来、怎么算、输出什么。标准化了以后，任何变动都改几行代码就行。

下一篇预告：时间序列分析——预测FAB生产趋势。

---

💬 你在实际工作中遇到过类似问题吗？欢迎在评论区聊聊你的经历，或者说说你最想用Python自动化的场景！

📚 专栏持续更新中，关注不迷路。觉得有用的话，收藏+点赞支持一下~ 👍

---

【常见坑】

• 踩过的坑：一开始想“一步到位”，把每个人要的数据都加进去，结果报表太长，没人看。后来改成“核心报表+定制附件”，核心报表只有1页，定制数据放在Excel附件里。
• 报表生成后，自动发送到指定邮箱。Python的smtplib库可以搞定，但要注意：
• 脚本无文档、无注释、依赖个人环境，原作者离职后无法维护。
• 只做正向流程不做异常处理，遇到缺失文件或格式变化即中断。
• 未做数据校验，源数据异常时静默产出错误报表。

常见问题（FAQ）

Q：哪些报表最值得做自动化？

A：用四个维度筛选：频次高（每日或每周）、规则稳定（口径不常变）、数据量大（人工处理耗时）、容错要求不极端。四项全满足的工作优先做，收益最确定。反之，口径频繁变化的报表自动化后维护成本可能高于人工。

Q：自动化脚本应该用 Excel 宏还是 Python？

A：取决于数据量与集成需求。数据量小、逻辑简单且全在 Excel 内完成，宏更易上手与分发；数据量大、需要多源集成或较复杂处理，Python 更适合。关键考虑是团队里谁能维护它。

Q：自动化之后还需要人工复核吗？

A：需要，但复核内容会变化：人工从「做数据」转为「看异常」。合理的做法是让自动化流程把异常情况单独列出（数据缺失、数值超范围、同比差异过大），人工只处理这些异常项，常规数据直接通过。这样既保留安全网，又释放了大量人工。

Q：数据源格式频繁变化，自动化还有意义吗？

A：有意义，但应分两步走：第一步是推动源数据标准化或建立中间的格式适配层，把变化隔离在一处；第二步才是自动化处理逻辑。如果源数据格式每月变化且无法推动统一，自动化的维护成本会很高，此时更适合做半自动化（自动取数、人工核对与加工）。

Q：自动化脚本应该由谁维护？

A：应由业务或工程团队中有一定技术能力的人维护，而不是完全交给 IT 或完全依赖原作者。维护者需要理解业务口径，才能判断脚本失效时是数据问题还是逻辑问题。建议至少两人熟悉脚本逻辑，避免单点依赖。

Q：多久能看到自动化改造的效果？

A：取决于工作量规模。判断标准不应只看节省的工时，还要看数据时效性、错误率与人工干预次数的变化。若自动化后仍需大量人工核对与修补，说明流程本身或数据源尚未稳定，收益会被抵消。

【总结】

报表自动化与效率工具的难点往往不在单点技术，而在于把原理、数据与现场验证串成闭环。日报自动化的核心不是写代码，而是设计好数据流——数据从哪里来、怎么算、输出什么。标准化了以后，任何变动都改几行代码就行。自动化方案应优先选择低维护成本的形态。脚本简单可读、依赖少，长期维护成本低于复杂的定制程序；在企业环境中还需考虑他人能否接手。建议先用小范围试点验证有效性，再逐步扩大适用范围，并保留完整的数据与判断记录以便复盘。

术语速查

• MES（Manufacturing Execution System，制造执行系统）：位于计划层与控制层之间，负责工单执行、过程追溯、数据采集与质量管控的信息系统。　工程意义：是打通 ERP 计划与车间现场的中间层。
• Lot（Lot，批次）：作为生产、追溯与质量判定基本单位的一组产品。　工程意义：批次粒度设计要在追溯精度与管理成本之间取平衡。

相关阅读

• MES生产报表自动化Python工具免费下载｜OEE+停机损失周报
• [半导体FAB设备数据可视化平台实战

从InfluxDB+Grafana到Python自动化全流程](https://www.yezhihui.cn/?id=55)

• 半导体百科：FAB设备综合效率 OEE 自动化计算与可视化看板
• 半导体FAB MES实时看板与KPI可视化设计实战

> 📦 专栏VIP资源包：包含本系列40篇全部可运行源码、示例数据集、自动化脚本工具包。在专栏主页点击「VIP资源」即可获取。
> 🔧 专栏配套工具包（含本篇完整可运行代码+示例数据）已上传为VIP资源，专栏目录页可下载。

📚 同栏目延伸阅读：FAB配方优化：贝叶斯优化实战调参案例、时序预测模型LSTM：设备状态提前30分钟预警、API数据采集：用requests自动拉取MES数据、时间序列分析:预测FAB生产趋势