摘要：
上一篇：《“嵌入”在大语言模型中是解决把句子转换成向量表示的技术》 序言：我们常常会说某某人只会“读死书”，题目稍微变一点就不会做了。这其实是我们人类学习中很常见的现象。可是你知道吗？人工智能其实更容易“读死书”。不过在人工智能领域，我们有个听起来高大上的说法，叫“过拟合”。说白了，“过拟合”就是人 阅读全文
摘要：
序言：当前基于 Transformer 架构的大语言模型人工智能技术，由于投入大、成本高、人才需求苛刻，导致许多企业望而却步。动辄几千万甚至上亿的成本，现实中有几家企业能够承担？真正具有竞争力的技术应当在成本上更低、效率上更高，因此，各大院校和商业公司已不再仅仅关注模型的参数规模，而是在积极探索创新 阅读全文
摘要：
上一篇：《人工智能是这样理解“情绪”的》 序言：这段话要优化吗？““嵌入”是一种将句子、单词或其他语言单位转换为向量表示的技术。这个向量通常位于高维空间中，它以一种能够表达相似性的方式编码出文本的含义或上下文。嵌入层的作用就在于把离散的语言符号（如单词或句子）转换成连续的向量，使得模型能更好地理解和 阅读全文
摘要：
前一篇：《人工智能模型训练：从不同格式文件中读取训练数据集》 前言：在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个 阅读全文
摘要：
上一篇：《研发LLM模型，如何用数值表示人类自然语言？》 序言：人工智能数据工程师在采集数据时往往会使用不同的工具，因此最终得到的原始数据结构各不相同。市场上已知的数据采集和分析工具所输出的文件格式大致有几种。前面我们介绍了如何从谷歌的TFDS中提取支持的格式数据，今天将为大家讲解两类更常用的数据集 阅读全文
摘要：
今天，我将介绍一种简单的方法，帮助大家从各种网站上收集数据，搭建一个能够像人在浏览器中操作的网页爬虫。这种爬虫甚至可以在 Upwork 等平台上独立完成一些网页抓取的自由职业任务。 自2024年以来，随着 AI 的发展，网页抓取发生了巨大的变化。以前，大公司如亚马逊或沃尔玛为了保持价格竞争力，必须花 阅读全文
摘要：
上一篇：《人工智能——自然语言处理简介》 序言：人工智能大语言模型（LLM）如何理解人类的自然语言？这个过程的核心在于将文本转化为计算机能处理的数值形式，经过计算，最终达到对语言的理解。起初，我们只是简单的随便用一个数字来表示一个单词或一个词根，但随着研究深入，我们发现，不同的数值表达方式能显著提高 阅读全文
摘要：
上一篇：《人工智能模型训练中的数据之美——探索TFRecord》 序言：自然语言处理（NLP）是人工智能中的一种技术，专注于理解基于人类语言的内容。它包含了编程技术，用于创建可以理解语言、分类内容，甚至生成和创作人类语言的新作品的模型。在接下来的几章中，我们将会探讨这些技术。此外，现在有许多利用 N 阅读全文
摘要：
最近，美国新闻集团起诉了知名 AI 搜索引擎 Perplexity AI。也许你会想，这不就是又一起“AI 惹官司”吗？其实，这次情况不太一样，甚至可能会改变我们未来上网的方式！ 争议的焦点是什么？是未来的 AI 搜索——即那些能从全网总结信息的“AI 答题王”。这些 AI 不只是简单的聊天机器人， 阅读全文
摘要：
序言：无论 OpenAI 出于何种原因，用户的期待和认可都是关键。这次 o1 模型的泄露事件意外引发热议，也让用户有机会一窥 o1 的强大潜力。虽然 OpenAI 已推出 o1-preview 和 o1-mini 供用户试用，性能有所提升，但仍未展现最终模型的完整能力。完整版本的意外泄露让人们看到了 阅读全文
摘要：
上一篇：《构建人工智能模型基础：TFDS和Keras的完美搭配》 序言：在人工智能模型的训练过程中，如何高效管理和处理大量数据是一个重要的课题。TensorFlow 的 TFRecord 格式为大规模数据存储和处理提供了一种灵活且高效的解决方案。在本节知识中，我们将介绍如何利用 TFRecord 结 阅读全文
摘要：
上一篇：《数据工程师，转型人工智能岗位的理想时空通道》 序言：本节将带您深入探索 TensorFlow 提供的关键工具和方法，涵盖数据集管理和神经网络模型的构建与训练。在现代人工智能框架中，TensorFlow 的数据集接口 (TensorFlow Datasets, 简称 TFDS) 与 Kera 阅读全文
摘要：
序言：全球顶级的人工智能资讯网站都是以英文语言为主，如果大家看不懂，没关系，作者教大家一个技巧，用人工智能直接帮您看，然后直接让AI解析出您关注的重点内容给您，如果想了解详细信息，让人工智能一字不漏的翻译给你，就这么简单粗暴。 在瞬息万变的人工智能领域，获取最新资讯、紧跟行业发展是保持竞争力的关键。 阅读全文
摘要：
序言：数据工程师是从传统软件工程师向人工智能方向转型的最佳切入点之一。数据工程师的职责通常是为人工智能项目收集和准备高质量的训练数据集，包括从互联网上获取公开数据、或自行采集、清洗、整理数据集。尽管看似简单，但数据工程师的工作至关重要，因为数据质量直接影响模型的性能，数据准备不当可能导致模型开发失败 阅读全文
摘要：
序言：过拟合是人工智能训练中的一个常见问题，类似于一位“读死书”的学生，他只能机械地背诵书本内容，缺乏灵活性，一旦题目稍有变化便无法理解。为了解决这一问题，科学家们从人脑的学习方式中获得启发，设计出“随机失活”方法。在学习过程中，随机关闭部分神经元，避免神经元之间过度依赖，从而提升模型的灵活性与应变 阅读全文
摘要：
（如果想及时收到人工智能相关的知识更新，请点击关注！！） 序言：目前我们每一小节的内容都讲解得非常慢，因为这是人工智能研发中的最基础知识。如果我们不能扎实掌握这些知识，将很难理解后续更复杂且实用的概念。因此，我们甚至采用一个概念一节的方式来编排内容，区分得清清楚楚、明明白白，以便大家能够非常明确地了 阅读全文
摘要：
序言：图像增强其实就是对现有图片做一些变化，让数据集看起来更多样化，减少去额外收集数据的需求。虽然从某种程度上来说，它能提高数据的质量，但严格来说它不是传统意义上的数据清洗。数据清洗的目的就是把数据里的错误、不一致或者缺失的部分给清理掉，让数据变得更干净、更好用。 图像增强 在上一节中，我们构建了一 阅读全文
摘要：
真正的障碍不是技术，而是思考的时间: 虽然像ChatGPT这样的工具确实有潜力带来变革，但我接触的大多数人几乎不用它。就算用的，也只是用来做些总结之类的小活儿。而在这些用户里，只有大约5%的人订阅了高级版，这意味着真正用AI来搞复杂任务的“高手”少得可怜。下面的内容主要来自Shopify的AI和广告 阅读全文
摘要：
上一篇：《设计卷积神经网络CNN为什么不是编程？》 序言：我们已经踏入了设计人工智能（AI）模型的大门，有一个重要概念请大家务必记住：人工智能模型 = 架构 + 特征。任何一个AI模型都是先设计出架构，再通过数据训练获得特征。整合了特征的架构才算是一个完整的人工智能模型，如果没有特征的支撑，架构本身 阅读全文
摘要：
上一篇：《搞清楚这个老六的真面目！逐层‘剥开’人工智能中的卷积神经网络（CNN）》 序言：现在让我们开始走进卷积神经网络（CNN）的世界里。和传统编程完全不同，在人工智能的程序代码里，您看不到明确的算法规则，看到的只是神经网络的配置说明。这里的代码不会像传统编程那样去具体实现每个功能。比如说，如果您 阅读全文
摘要：
前一篇：《人工智能同样也会读死书 “过拟合”》 序言：你看，人工智能领域的专家都在做什么？他们其实只是在不断试错，因为并没有一种“万能药”——一种万能的算法可以一次性设计出任何人工智能大模型来实现客户的需求。所有的模型在设计和训练过程中都是——验证结构——修改架构——再验证新结构——再修改……最终达 阅读全文