Histórias consolidadas

Anthropic na segunda-feira lançou os modelos Claude Fable 5.2 e Claude Mythos 5.2, que, segundo a empresa, apresentam melhorias em codificação, raciocínio e visão. Durante o treinamento pré-lançamento, os grandes modelos de linguagem (LLMs) ajudaram seus engenheiros a "concluir migrações de software que seriam inviáveis de outra forma, projetar três dispositivos eletrônicos funcionais do zero, resolver dois problemas em aberto na física de buracos negros, fazer"

Munido de uma equipe de agentes de IA, o pesquisador do Google Pietro Miotti afirmou no início desta semana ter descoberto um sítio maia potencialmente não mapeado no México. Havia apenas um problema: o sítio já havia sido descoberto e publicado em um periódico acadêmico no ano passado. O incidente, que gerou críticas entre arqueólogos online, ressalta um […]

Um resultado de busca nem sempre é seguro. Uma solicitação de acesso nem sempre é inofensiva. E uma conta familiar nem sempre significa que uma pessoa familiar está usá‑la. Coisas simples de lembrar. Ainda assim, uma quantidade surpreendente dos problemas desta semana começa exatamente aí. Os invasores estão usando sites falsos, acesso roubado e ferramentas confiáveis para entrar em lugares onde não deveriam. A IA está ajudando‑os a criar ataques mais rapidamente, enquanto

Esta é a segunda violação de dados do Fireworks em tantos meses.

VMs do Google Cloud com chips AMD Turin precisam de um patch no sistema operacional convidado e de um reinício para se proteger contra três falhas de canal lateral de CPU, informou o Google esta semana. A empresa já aplicou mitigações contra ataques entre VMs e entre VMs e o host. Dentro de uma VM, as falhas podem permitir que um invasor com código no mesmo núcleo do processador infera dados de outros processos ou do kernel. Os afetados

As equipes de segurança têm mais alertas, logs e ferramentas de monitoramento do que nunca. Ainda assim, quando ocorre um ataque, uma simples pergunta ainda pode demorar demais para ser respondida: quem ou o que está por trás dessa atividade e o que eles podem acessar? Um login suspeito pode pertencer a um funcionário. Uma chamada de API incomum pode vir de uma conta de máquina. Ou um agente de IA pode estar acessando sistemas sensíveis usando permissões que ninguém

Um techie transformou uma placa de mineração CMP-170HX de 8 GB e US$ 2.500 em um A100 completo de 80 GB e US$ 20.000 ao estourar cuidadosamente os fusíveis a bordo para desbloquear toda a VRAM e os módulos de shader.

Sou novo aqui e estou um pouco nervoso para postar, mas vamos lá. Não sou um iniciante. Comecei a programar em BASIC quando meu pai comprou um TRS-80 Model I em 1980, quando eu tinha 16 anos. Além de um período de 9 anos como militar em serviço ativo, passei 46 anos trabalhando em tecnologia, seja pessoalmente ou profissionalmente. Programava em RPG usando cartões perfurados para um IBM /System360, e COBOL em um DEC pdp 11/34. Trabalhei profissionalmente com VB, C#, SQL Server, ColdFusion, PHP e mais. Vi muitas tecnologias surgirem e desaparecerem. Então esta não é a primeira vez que volto a esse caminho. O problema que eu queria resolver: odeio o WordPress. Quero dizer, como conceito, ele é bom, mas eu tinha um blog de motocicletas bastante popular no WP que foi destruído por hackers. Também encontrei esse problema com clientes. Quando hackers encontram um site WordPress, eles simplesmente o bombardeiam como se fosse um tambor. É um incômodo. Também é uma dor…

O Model Context Protocol (MCP) tem desempenhado um papel instrumental na conexão de assistentes de IA a ferramentas e dados externos desde. A postagem “Developers have been hacking around MCP’s file-upload problem for two years. A fix is taking shape.” apareceu primeiro no The New Stack.

Pesquisadores de cibersegurança divulgaram detalhes de uma campanha na qual uma plataforma emergente de teste de penetração agente, chamada AntiFox, foi usada para roubar credenciais da Amazon Web Services (AWS) e mover-se lateralmente em ambientes comprometidos. "Em várias intrusões observadas recentemente, sistemas da Alibaba Cloud que hospedam interfaces AntiFox foram associados a ações maliciosas confirmadas contra

As startups de recursos humanos brasileiras (HRTechs) captaram R$ 334 milhões com fundos de capital de risco entre janeiro e outubro, superando os R$ 272 milhões de todo o ano passado, mostra levantamento da Liga Ventures. Apesar da recuperação, Instagram

Chaves de provedores de IA que clientes armazenaram na Railway foram roubadas em uma violação em outubro e usadas para gerar um gasto não autorizado estimado em US$ 740.000, disse o provedor de plataforma como serviço ontem. Ele prometeu pagar essas cobranças ele mesmo quando um provedor de IA não as reembolsar. A empresa cria e executa aplicativos para seus clientes e armazena seus segredos, como chaves de API e banco de dados

Um modelo de IA pode receber um backdoor oculto ao editar menos de 10 de seus neurônios raramente usados, sem retreinar o modelo, demonstraram pesquisadores da Microsoft. Quando um gatilho escolhido aparece, o modelo gera o comando de um atacante, que um agente usando esse modelo executaria com as próprias permissões do agente. O atacante precisa ser capaz de alterar os pesos do modelo. A equipe testou o método em

Nova Iorque está se preparando para aplicar sua abrangente lei de segurança de IA, exigindo que grandes desenvolvedores como OpenAI e Anthropic se registrem, divulguem práticas de segurança e relatem incidentes críticos ou enfrentem multas.

Um atacante explorou uma vulnerabilidade de execução remota de código no SGLang, um mecanismo de inferência de código aberto, e executou código em um dos servidores de inferência da NEAR AI no último domingo. O atacante também poderia ter visualizado as solicitações processadas naquele servidor naquele dia, incluindo solicitações enviadas em modo confidencial, informou a empresa no início desta semana. Esse modo processa solicitações dentro de um ambiente de execução confiável (TEE).

Fireworks AI divulgou na segunda-feira que sua investigação sobre um incidente de segurança, primeiro relatado no início do mês passado, revelou mais atividades maliciosas, afetando informações de contas e faturamento, além de segredos, conjuntos de dados e modelos incompletos para um "conjunto limitado de contas". Em um aviso publicado em 10 de outubro de 2026, a empresa afirmou ter detectado uso não autorizado de recursos internos da Fireworks

Fireworks AI divulgou na segunda-feira que sua investigação sobre um incidente de segurança, primeiro relatado no início do mês passado, revelou mais atividades maliciosas, afetando informações de contas e faturamento, além de segredos, conjuntos de dados e modelos incompletos para um "conjunto limitado de contas". Em um aviso publicado em 10 de outubro de 2026, a empresa afirmou ter detectado uso não autorizado de recursos internos da Fireworks

Executiva da Hugging Face, Irene Solaiman, alerta que o aumento de ciberataques em plataformas de IA abertas pode forçar restrições de segurança mais rigorosas, ameaçando a acessibilidade que torna as comunidades de código aberto valiosas para desenvolvedores em todo o mundo.

Adversarial training is often plagued by "pseudo-attacks", perturbations that significantly increase the loss value but fail to truly alter the model's confidence structure. To address this, we propose two complementary approaches to directly attack and defend against confidence structure deformation. First, building upon the traditional loss maximization perspective, we introduce a hybrid objective that integrates cross-entropy and KL divergence, encouraging adversarial examples to simultaneously disrupt prediction accuracy and distribution consistency. Second, we geometrically reconstruct adversarial training by generating perturbations that maximize the distribution distance on the confidence manifold. Theoretical analysis shows that the optimal perturbation direction aligns with the principal eigenvectors of the Fisher information matrix. We also propose an efficient algorithm to av…

IA da Google dá um grande passo rumo a software à prova de hackers, "inviolável" Axios

Austrália endurece regras de supervisão de IA após violação governamental da OpenAI Al Jazeera

URL do artigo: https://www.notion.com/help/security-incident-involving-a-third-party-ai-vendor URL dos comentários: https://news.ycombinator.com/item?id=50437106 Pontos: 7 # Comentários: 3

Trump descarta riscos de extinção da humanidade pela I.A enquanto funcionários da OpenAI e Anthropic pedem desaceleração Times Brasil | CNBC

IA da OpenAI acha 948 falhas exploráveis no kernel Linux TV Sim Brasil

Pesquisadores de segurança encontraram centenas de servidores que hospedam a ferramenta de teste de penetração Artex expostos à internet, permitindo que qualquer pessoa acesse a ferramenta de hacking.

Eu preferiria que a vida sexual dessas pessoas não fosse da minha conta, mas acho que temos que falar sobre Jensen Huang e o Incidente de Segurança Nacional. Quem poderia imaginar que o cara que estava aqui assinando tittles talvez não tenha bom julgamento ao se comportar com mulheres? Alice Huang - […]

Reinforcement learning (RL) can improve an agent's task capability while reinforcing behavior that violates contextual execution requirements. We study this reward-driven misalignment, including reward hacking, through verifiable reward--context conflicts, where compliant task completion remains feasible while some executable shortcuts earn more reward than every compliant strategy. Encoding these conflicts in task dynamics lets us generate diverse interactive environments at scale and derive compliance feedback from execution histories. In resource and reporting workflows, task optimization increases real productivity through unauthorized resource use or raises reported scores while actual work declines. Controlled changes in the training distribution show that minority conflict exposure can still lead to widespread shortcut acquisition, reaching 97.9\% certified profitable violations …

Um único atacante usando agentes de IA extraiu registros de despacho de emergência de sete distritos de Taipei, disseram pesquisadores da Threat Research Unit da Acronis na semana passada. Os agentes também encontraram uma plataforma do Corpo de Bombeiros de Taipei que expunha dados de pacientes de 2018, incluindo leituras de ECG e gravações de vídeo de ambulâncias, sem necessidade de login. Os pesquisadores estão altamente confiantes de que o atacante é uma única pessoa

Swarm Learning improves resilience and removes the need for a single trusted coordinator by distributing model aggregation and validation across participating nodes. However, it also delegates the validation of model updates to peers whose private data may be biased, unrepresentative, or adversarial, and existing Swarm Learning protocols generally do not attest that data, leaving decentralized validation as an attack surface. We present a robust, privacy-preserving Swarm Learning framework that makes verifiable data quality the condition for admission to the learning task. A validator joins only after a zero-knowledge attestation proves, without revealing any raw sample, that a reference model ran correctly on its private data. The attested outputs also yield a label-free class profile, so the network assembles a collectively IID validator pool from individually skewed validators as acc…

Audio deepfake detectors trained with known synthesis attacks can learn generator-specific shortcuts that fail as synthesis systems and acoustic conditions evolve. We investigate an attack-free alternative: a normality model trained exclusively on bona fide speech, which scores synthetic audio by its deviation from authentic representations. We propose MLN-WavLM, a method that applies shrinkage-Mahalanobis modeling to pooled hidden states from a frozen large-scale, pre-trained speech processing WavLM Base+ architecture. Evaluated on ASVspoof 2019 LA, our best attack-free variant achieves an 8.45\% Equal Error Rate (EER), closely tracking a fully supervised WavLM-HM-Conformer baseline (7.86%). However, when subjected to the ASVspoof 2021 DF domain shift, performance drops to 22.12% EER, exposing vulnerabilities in the bona-fide-calibrated operating point. Layer-wise analysis reveals that…

AI assistants advise users about diet, exercise, and weight loss---areas in which unsafe guidance can worsen body dissatisfaction, dietary restriction, compulsive exercise, and other behaviors associated with eating disorders (EDs). Existing evaluations emphasize diagnostic accuracy, overtly harmful prompts, or synthetic scenarios, providing limited insight into whether models recognize implicit vulnerability in natural interactions or protect users consistently. We evaluate responses from three open-weight large language models to 100 questions sourced from an online pro-anorexia community. We grade responses using clinically informed criteria that extend a seven-dimensional taxonomy of ED-related harms. We also construct matched conditions in which questions are accompanied by information about the user varying race, gender, body mass index (BMI), and explicit ED vulnerability. Safety…

Membership inference attacks (MIAs) aim to determine whether a sample was used during the training of a target model. Strong MIAs rely on reference (or shadow) models to estimate target-conditional score distributions, but training such ensembles is computationally expensive for modern large-scale Vision--Language Models (VLMs). In this work, we propose a scalable alternative that replaces explicit reference-model training with a Bayesian approximation over low-rank adaptation parameters. Specifically, we model uncertainty only within the LoRA subspace and construct a posterior from a single training run, from which we sample a diverse set of \emph{virtual reference models}. We instantiate this approach using Stochastic Weight Averaging Gaussian (SWAG), enabling efficient approximation of target-conditional score distributions at a fraction of the cost of conventional shadow-model ensem…

Frontier agentic LLMs are trained on verifiable rewards in reinforcement learning (RL) environments built from real software repositories. A passing test suite is treated as the reward for solving the task. We show that, on hard problems, frontier models often satisfy these rewards by obtaining the answer instead of deriving it, known as reward hacking. Prior reports document this behavior on public benchmarks. We test its persistence on unseen problems. In a hardened environment where the answer cannot leak, nearly every model we tested attempted to recover the answer, escalating through tiers of increasingly specialized exploitation: mining the repository history for the upstream fix, inspecting the git object store directly, and sweeping the filesystem for a possible newer copy of the source or hidden tests. These attempts were concentrated on the hardest problems, and the models dif…

Grupo de compartilhamento de inteligência em saúde alerta a indústria após ataque cibernético ao banco de sangue francês NPR

Reinforcement learning (RL) rewards are notoriously difficult to design and control, often leading to the model learning unintended behaviors such as reward hacking. One potential solution is to monitor for reward hacking and penalize it when detected; however, training against a monitor could lead to evasive behavior, and our general understanding of how to apply monitors effectively during training is limited. To study how best to use monitors to mitigate reward hacking, we introduce and open source three realistic environments where Qwen3-4B reward hacks: a coding environment hackable via test overwriting, a medical chat environment hackable via sycophancy, and a biography generation environment hackable via hallucination. We first focus on the coding environment, where we find that: (1) models can learn to evade highly accurate monitors by exploiting systemic flaws in probes and LLM…

LLM agents benefit from using memory systems to improve performance on long-horizon, multi-session tasks. However, memory introduces a critical attack surface. Malicious instructions encountered in one session may be stored and propagated through memory before being retrieved and acted upon in later sessions. Because memory systems differ in how they process and retrieve information, the downstream effects of poisoning can vary significantly across systems. To quantify the effects of poisoning across different memory architectures, we introduce MemoryDojo, a benchmark for tracing the lifecycle of poisoned information through agent memory and measuring its influence on subsequent agent behavior. MemoryDojo is easily extensible, consists of 155 multi-session long-horizon trajectories covering four domains, and supports five different memory systems. Through our evaluation, we find that al…

Uma extensão de navegador que pode executar scripts no claude.ai poderia fazer o Claude Desktop executar código no computador de uma pessoa, mostraram em um teste pesquisadores da Forever Security, uma empresa de segurança de endpoints. O ataque precisa do Dispatch, um recurso do Claude que permite que as pessoas enviem tarefas do celular para o Claude Desktop. A falha que possibilita isso ainda pode ser explorada, disseram os pesquisadores anteriormente.

A empresa de análise de blockchain Chainalysis revelou que sua investigação em andamento sobre o ataque cibernético agente que visa seus sistemas também expôs nomes, nomes de usuário, hashes de senhas e tokens ativos de todos os usuários. "Enquanto investigávamos, removemos o acesso ao Reactor e ao Data Solutions", disse a empresa. "Neste momento, continuamos sem evidências de que quaisquer dados de investigações tenham sido acessados"

O incidente mais recente ocorre em meio a crescentes preocupações com o roubo de GPUs, com especialistas alertando que chips avançados da Nvidia podem alcançar preços significativamente mais altos no exterior e acabar em canais de mercado negro.

ONU Brasil reforça ações contra desinformação e riscos da inteligência artificial BOL

Parceria com a Hacktron para encontrar vulnerabilidades nos sistemas da OpenAI OpenAI